BARTLEBY

TITLE: 바틀비
보고 배우기

인공지능(AI)은 자신이 운영되는 맥락을 파악할 때 기업 내에서 가장 잘 작동한다. 그 맥락 중 일부는 명시적인 규칙과 가이드라인을 통해 사전에 쉽게 체계화할 수 있다. 또 다른 일부는 원시 데이터를 분석하여 포착할 수 있다. 독일의 소프트웨어 기업 셀로니스(Celonis)는 기업 시스템에서 정보를 수집하여 송장 처리나 조달과 같은 프로세스가 조직 내에서 실제로 어떻게 진행되는지 파악한다.

하지만 어떤 정보는 전달하기가 더 어렵다. 경험과 직관에서 비롯된 노하우인 '암묵지(tacit knowledge)'가 바로 그렇다. 철학자 마이클 폴라니(Michael Polanyi)는 암묵지를 다음과 같이 명쾌하게 정리했다. "우리는 말할 수 있는 것보다 더 많은 것을 알 수 있다." 인간조차 왜 자신이 특정 방식으로 일을 처리하는지 설명할 수 없을 때, AI는 어떻게 업무에 대해 배울 수 있을까?

한 가지 답은 AI가 굳이 설명을 들을 필요가 없다는 것이다. 암묵지는 이미 기계가 학습하는 데이터 안에 체화되어 있다. 예를 들어, 특정 브랜드의 마케팅 문구 모음에는 모델이 흡수할 수 있는 조직적 판단과 전문성이 담겨 있다. 스페인 비즈니스 스쿨인 IESE의 엔리케 이데(Enrique Ide)는 AI의 결정적인 특징 중 하나로 인간이 설명할 수 없는 데이터 속 패턴을 식별하는 능력을 꼽는다. 안면 인식부터 체스에 이르기까지, AI는 명시적으로 배우지 않은 활동을 숙달하는 데 매우 유용하다는 사실을 입증해 왔다.

하지만 때로는 프로세스의 세부 사항이 중요하다. 예를 들어, 벽돌 벽은 벽돌공의 암묵지를 담고 있지만, 벽돌 벽을 많이 쳐다본다고 해서 그것을 가장 잘 쌓는 방법을 알 수 있는 것은 아니다. AI 기반 로봇을 사용하여 벽돌을 쌓는 네덜란드의 스타트업 모뉴멘탈(Monumental)은 기계 설계 방법을 연구하는 초기 과정에서 벽돌공들을 인터뷰했다. 하지만 그들의 답변은 "그냥 항상 하던 방식이에요"와 같이 답답할 정도로 모호했다. 벽돌공들은 자신이 말할 수 있는 것보다 더 많은 것을 알고 있었던 것이다.

그들이 말로 설명할 수 없는 것은 수 시간의 영상 자료를 통해 밝혀낼 수 있었다. 예를 들어 모뉴멘탈은 벽돌공들이 벽돌을 모르타르에 밀어 넣을 때 손을 살짝 진동시키는 것을 발견했다. 이러한 작은 움직임은 모르타르를 벽돌의 틈새로 밀어 넣어 더 강력한 접착력을 만들어내며, 모뉴멘탈의 로봇이 이 동작을 복제하도록 설계된 이유가 바로 여기에 있다.

따라서 명확한 해답은 사람들이 일하는 방식을 더욱 상세하게 추적하는 것이다. 이미 몇몇 기능은 면밀히 모니터링되고 있다. 고객 서비스 콜센터는 자연스럽게 많은 관련 정보를 생성한다. 통화 내용은 보통 관례적으로 녹음되며, 상담원의 화면을 모니터링하는 것도 일반적이다. AI를 훨씬 더 많은 데이터에 투입할 수도 있다. 매사추세츠 공과대학교(MIT)의 대니얼 리(Danielle Li)와 공동 저자들이 미국 직장인들을 대상으로 실시한 설문조사에 따르면, 근로자들은 자신들이 조직에 대해 체계화되지 않은 엄청난 양의 지식을 보유하고 있다고 생각하는 것으로 나타났다.

그러나 개별 근로자의 특정 행동을 더 집중적으로 모니터링하는 것은 민감한 영역이기도 하다. 메타(Meta)의 직원들은 AI 학습을 위해 키 입력과 마우스 클릭을 추적하는 프로그램인 '모델 역량 이니셔티브(Model Capability Initiative)'에 거세게 반발했다. 대니얼 리의 설문조사 결과, 근로자들은 사생활을 침해하는 고용주에게서 가치 있는 정보를 숨길 수 있다고 생각하는 것으로 나타났다. 그들은 실제로 그렇게 할 수도 있다. 한 실험에서 연구진은 참가자들에게 설문 데이터를 구매하겠다고 제안했는데, 데이터가 AI 학습에 어떻게 사용될 수 있는지에 대한 영상을 시청한 참가자들은 데이터를 판매하려는 의지가 더 낮았다.

가장 침해적인 모니터링 체제라 할지라도 사람들의 머릿속에서 일하는 것, 즉 고객의 선호도에 대해 그들이 무엇을 알고 있는지, 특정 판단의 이면에 어떤 사고 과정이 있는지 등을 포착하기는 어려울 것이다. 따라서 또 다른 대안은 평가 과정을 통해 전문가의 지식을 끄집어내는 것이다. 일부 작업의 경우, AI 모델이 작업을 얼마나 잘 수행하고 있는지 파악하기 쉽다. 코드는 실행되거나 그렇지 않거나 둘 중 하나이기 때문이다. 반면 디자인이 심미적으로 매력적인지, 연구 요약서가 얼마나 잘 작성되었는지 판단하는 등 검증하기 훨씬 모호한 작업도 있다. 이러한 주관적인 기준에 대해 인간 전문가가 AI의 수행 능력을 평가하게 함으로써, 모델을 인간의 기준에 맞춰 점진적으로 개선할 수 있다.

암묵지를 포착하려는 노력 자체는 문제가 없다. 조직은 오랫동안 베테랑 직원이 떠날 때 전문성이 유실되는 것을 우려해 왔다. 그러나 이 문제를 해결하기 위해 AI를 사용하는 것은 여러 가지 까다로운 질문을 제기한다. 체계화되지 않은 노하우의 소유권은 누구에게 있는가? 어느 정도까지의 감시가 허용 가능한가? 그리고 기계가 점점 더 많은 것을 학습함에 따라, 이는 이전에 경험을 통해 얻었던 전문성을 사람들이 습득하고, 실천하고, 전수하는 방식에 어떤 영향을 미칠 것인가?

TITLE:BARTLEBY
Watch and learn

ARTIFICIAL INTELLIGENCE works best within companies when it knows the context in which it is operating. Some of that context is easy to codify upfront, in explicit rules and guidelines. Some of it can be captured by analysing raw data: Celonis, a German software firm, ingests information from enterprise systems to see how processes like invoices or procurement actually unfold within organisations.

But some information is harder to pass on, and none more so than tacit knowledge, the know-how born of experience and intuition. Michael Polanyi, a philosopher, famously distilled tacit knowledge thus: “We can know more than we can tell.” How can AI learn about work when even humans cannot articulate why they do things a certain way?

One answer is that they don’t need to. Tacit knowledge is already embodied in the data that machines are trained on: a corpus of marketing copy for a specific brand, say, encapsulates organisational judgment and expertise that models can soak up. And one of AI’s defining characteristics, says Enrique Ide of IESE, a Spanish business school, is its ability to identify patterns in data that humans cannot describe. From facial recognition to chess, AI has proved very handy at mastering activities that it was never explicitly taught.

Sometimes, however, the details of a process matter. A brick wall encapsulates bricklayers’ tacit knowledge, for example, but staring at loads of them won’t tell you how best to build one. Monumental AI, a Dutch startup that uses AI-powered robots to lay bricks, interviewed masons as part of its early research into how to design its machines. But their answers tended to be maddeningly vague things like: “That’s the way I’ve always done it.” The bricklayers knew more than they could tell.

What they could not articulate for themselves, hours of video footage could reveal. Monumental saw, for instance, that masons were vibrating their hands a little bit when they pushed a brick into the mortar. This small movement helps push mortar into the pores of the bricks, creating a stronger adhesive bond, which is why Monumental’s robots were then designed to replicate it.

An obvious answer, therefore, is to track how people work in ever finer detail. A few functions are already closely monitored. A customer-service call centre naturally throws off lots of relevant information: calls are usually recorded as a matter of course, and it is normal for agents’ screens to be monitored as well. AI could be let loose on much more data. A survey of American employees by Danielle Li of the Massachusetts Institute of Technology and her co-authors found that workers believe they are sitting on large amounts of uncodified knowledge about their organisations.

But more intensive monitoring of the specific actions of individual workers is also sensitive terrain. Meta’s employees have reacted noisily to the firm’s Model Capability Initiative, a programme to track keystrokes and mouse clicks in order to train AI. Ms Li’s survey found that workers think they have the ability to withhold a lot of valuable information from nosy employers. They may well choose to do so. In an experiment, the researchers offered to buy survey data from participants; those who had been shown a video on how data could be used to train AI were less willing to sell.

Even the most intrusive monitoring regime would struggle to capture what is going on in people’s heads: what they know about clients’ preferences or the thought processes behind certain judgments. So another option is to try and tease out experts’ knowledge through evaluation processes. On some tasks, it is easy for an AI model to know how it is getting on: a piece of code either runs or it does not. Other tasks are much fuzzier to verify—judging whether a design is aesthetically appealing, say, or how well a research brief has been carried out. By getting human experts to rate how AI performs on these more subjective criteria, the models can progressively be refined to match their standards.

There’s nothing wrong with trying to capture tacit knowledge. Organisations have long worried about losing expertise when old hands depart. But using AI to solve the problem raises a number of tricky questions. Who owns uncodified know-how? How much surveillance is acceptable? And as machines learn more and more, how will that affect the way that people acquire, practise and pass on the expertise that was previously gained through experience?