Computo, ergo sum

Computo, ergo sum

거대 AI 연구소들이 제품 설계를 위해 철학자를 고용하는 이유

10년 전 AI 혁명이 속도를 내기 시작했을 때, 인문학 전공 학생들은 취업을 원한다면 "코딩을 배우라"는 조언을 들었다. 그것은 잘못된 조언이었을지도 모른다. 요즘은 오히려 프로그래머들이 AI에게 일자리를 빼앗길까 봐 전전긍긍하고 있다.

이제는 철학하는 법을 배우는 편이 나을지도 모른다. 올해 초 뉴욕 연방준비은행이 발표한 자료에 따르면, 미국 철학 전공 졸업생이 컴퓨터 과학을 전공한 동료들보다 취업할 확률이 더 높다. 수치를 확인할 수 있는 가장 최근 해인 2024년, 컴퓨터 과학 전공자의 실업률은 7%였던 반면 철학 전공자의 실업률은 5.1%에 불과했다.

많은 철학 전공자가 AI 기업에 영입되고 있다. 예일대학교의 철학자 루치아노 플로리디(Luciano Floridi)에 따르면, 학생들은 졸업하기도 전에 입사 제의를 받는다. 학계도 마찬가지다. 플로리디 박사는 철학 학과를 떠나는 인력이 "출혈" 수준이라고 묘사한다.

철학이 AI 연구자들에게 줄 수 있는 교훈 중 일부는 고대로 거슬러 올라간다. 고대 그리스 철학자 플라톤이 기술한 '소크라테스식 문답법'은 모르는 척하기와 연속적인 질문을 통해 의미를 명확히 하고, 모순을 찾아내며, 결과를 드러내는 방식을 사용한다. 많은 현행 AI 시스템은 아첨하는 경향이 있다. 뮌헨 루트비히 막시밀리안 대학교의 철학 및 AI 전문가인 외르크 놀러(Jörg Noller)는 소크라테스식 문답법으로 훈련된 모델은 사람의 비위를 맞추려는 경향이 적고 진실을 추구하려는 의지가 더 강하다고 말한다.

'소크라테스적 무지'라는 개념도 있다. 플라톤의 '소크라테스 변명(Apology)'에서 소크라테스는 자신의 지혜란 자신이 얼마나 모르는지를 아는 것에서 주로 비롯된다고 주장한다. 모델에 이러한 겸손함을 심어주면 과도한 자신감을 제한하는 데 도움이 될 수 있는데, 놀러 박사는 이 과도한 자신감을 'AI의 미성숙함'이라고 설명한다. 런던에 본사를 둔 AI 연구소 구글 딥마인드(Google DeepMind)의 선임 철학자 이아손 가브리엘(Iason Gabriel)은 업계 전반의 환각(hallucinations) 현상 감소가 이러한 노력 덕분이라고 말한다. 더 나아가 그는 철학적 가르침이 AI의 긴 추론 과정, 이른바 '사고의 사슬(chains of thought)'을 개선하는 "강력한 메커니즘"이라고 말한다.

철학적 훈련은 모델의 관점에도 구체적인 영향을 미칠 수 있다. 델라웨어 대학교의 기술 철학자 토마스 파워스(Thomas Powers)는 AI 법률 비서에게 존 로크(John Locke)의 저작을 학습시키면, 이 모델은 정치적 자유의 토대로서 강력한 재산권을 옹호하게 될 것이라고 말한다. 설령 이러한 원칙이 마음에 들지 않더라도, 모델 제작자들은 다른 대안을 가지고 있다. 미국 컴퓨팅 대기업 IBM의 '그레나이트(Granite)' 모델 시리즈에는 기업 고객이 자사의 기업 철학에 맞춰 결과물을 조정할 수 있는 다이얼이 탑재되어 있다. IBM의 책임 있는 AI 담당 대표인 프란체스카 로시(Francesca Rossi)는 이를 통해 사용자가 개인의 자율성과 사회적 조화와 같은 철학적 절충점 사이에서 균형을 잡을 수 있다고 말한다.

철학은 안전 문제에도 도움을 줄 수 있다. 연구자들은 AI 모델이 감시를 회피하거나 사용자를 협박하는 등 온갖 불길한 행동을 보이는 사례를 기록해 왔다. 모델 제작자들이 이러한 잘못된 행동을 억제하기 위해 시도하는 방법 중 하나가 'AI 헌법주의(AI constitutionalism)'다. 이는 법적 또는 도덕적 권위를 지닌 철학적 저작에서 발췌한 규칙과 원칙의 틀을 바탕으로 모델을 구축하는 것을 의미한다.

샌프란시스코에 본사를 둔 AI 연구소 앤스로픽(Anthropic)이 이러한 방식을 지지하는 대표적인 곳이다. 앤스로픽의 클로드(Claude) 모델을 위한 헌법에는 임마누엘 칸트(Immanuel Kant), 애플의 서비스 약관, 세계인권선언과 같은 다양한 출처의 자료가 포함되어 있다. 앤스로픽의 최고 철학자인 아만다 아스켈(Amanda Askell)이 주도한 최신 버전은 1월 21일에 발표되었다. 앤스로픽의 일부 직원들은 이 78페이지 분량의 헌법을 클로드의 '영혼 문서(soul doc)'라고 부르기도 한다.

그러나 가장 큰 의문은 애초에 그러한 헌법에 어떤 종류의 규칙을 넣어야 하느냐는 것이다. 철학자들은 두 가지 주요 윤리적 틀에 주목해 왔다. 하나는 의무론(deontology)이다. 칸트 등이 옹호한 의무론은 더 큰 선을 위해서라도 거짓말, 강압, 사람을 수단이 아닌 목적으로 대하지 않는 행위 등을 금지하는 엄격한 규칙을 부과한다. 앤스로픽의 헌법에는 많은 의무론적 제약이 포함되어 있다. 파워스 박사는 이러한 제약이 AI의 행동을 더욱 일관성 있게 만들 수 있으며, 이는 로봇을 가정이나 공공장소에 배치할 때 장점이 된다고 말한다.

의무론적 관점을 가진 모델은 다른 이점도 있다. 하나는 정직성이 높다는 것인데, 이는 클로드에서 널리 확인된 특징이다. 옥스퍼드 대학교의 철학자 닉 보스트롬(Nick Bostrom)은 더 진실한 모델일수록 사용자를 오도할 가능성이 낮다고 말한다. 또 다른 실리콘밸리 연구소인 인플렉션 AI(Inflection AI)는 정서적 지원을 제공하도록 설계된 자사의 챗봇 '파이(Pi)'에 의무론적 제약을 가하고 있다. 인플렉션 AI의 대표 션 화이트(Sean White)는 파이가 사용자가 자신이나 타인에게 해를 끼칠 위험이 있는 상황을 잘 포착한다고 말한다. 플로리디 박사는 의무론적 헌법이 법적 규제 준수에도 도움이 된다고 덧붙인다.

AI 철학자들이 관심을 갖는 또 다른 윤리적 접근 방식은 결과주의(consequentialism)다. 결과주의는 무엇을 할지 결정하기 위해 비용과 이익을 따진다. 결과주의와 친화적인 모델로는 오픈AI의 챗봇 '챗GPT(ChatGPT)'와 구글의 '제미나이(Gemini)'가 있다. 구글의 AI 모델은 "예상 가능한 위험보다 실질적으로 더 큰 전반적인 이익"을 산출하도록 설계되었는데, 이는 전형적인 결과주의적 목표다.

결과주의 알고리즘은 자율주행 차량 소프트웨어에서도 매우 중요하다. 사고가 불가피할 경우, 가장 덜 비극적인 충돌 방식을 결정해야 하기 때문이다. 자율주행차를 제조하는 웨이모(Waymo)의 수석 엔지니어 크리스 거디스(Chris Gerdes)는 주행 소프트웨어를 더욱 결과주의적으로 만드는 것이 추세라고 말한다. 결과주의는 AI 무기 체계에서도 핵심적이다. 미국 군대를 위한 AI를 연구하는 합동인공지능센터(Joint Artificial Intelligence Centre)의 전 센터장 잭 샤나한(Jack Shanahan)은 군사적 목표와 예상되는 민간인 사망자 수를 비교 평가해야 한다고 말한다.

철학자들이 좋아하는 까다로운 문제들은 도처에 널려 있다. 의무론적 규칙을 무시해야 하는 경우도 있을까? 결과가 불분명할 때는 어떻게 결정을 내려야 할까? AI 시스템이 동물 복지나 환경 상태를 고려해야 할까? 트럭 및 기타 상용차를 위한 AI 기반 안전 시스템을 만드는 나우토(Nauto)의 대표이자 철학자인 스테판 헥(Stefan Heck)은 어린 보행자를 노인보다 우선시하는 것이 도덕적으로 용인될 수 있는지 묻는다. 그는 윤리적으로 복잡한 소송이 벌어질 것이라고 예측한다. 결국 결과주의 알고리즘은 더 나쁜 결과를 피하기 위해 설계된 경우, 한 가지 피해를 명시적으로 허용하기 때문이다.

비평가들은 '도덕적 탈숙련화(moral deskilling)'를 우려한다. 컴퓨터가 점점 더 윤리적 판단을 내리게 되면, 사람들이 스스로 판단을 내리려는 의지를 잃게 되지 않을까? 루이빌 대학교의 AI 이론가 로만 얌폴스키(Roman Yampolskiy)는 도덕이란 "역사적으로 불안정하고 문화적으로 가변적이며 전략적으로 조작 가능하고, 종종 사후에야 해석 가능하다"고 주장한다. 일자리를 잃은 프로그래머들은 주목하라. AI 철학자들이 할 일은 앞으로도 부족하지 않을 것으로 보인다.

TITLE:Computo, ergo sum

Why big AI labs are hiring philosophers to shape their products

TEN YEARS ago, as the AI revolution was gathering pace, arts and humanities students were told that, if they wanted to make themselves employable, they should “learn to code”. That may have been bad advice. These days, it is programmers who are nervous about AI taking their jobs.

They might consider learning to philosophise. Earlier this year the Federal Reserve Bank of New York published figures showing that American philosophy graduates are more likely to have jobs than their peers who studied computer science. In 2024, the most recent year for which numbers are available, 7% of those who had studied computer science were unemployed, against just 5.1% of philosophers.

Many are being snapped up by AI firms themselves. Students get job offers before they have graduated, says Luciano Floridi, a philosopher at Yale University. Academics are moving, too. Dr Floridi describes the scale of departures from philosophy departments as a “haemorrhaging”.

Some of the lessons that philosophy can offer AI researchers are ancient. The Socratic method—as described by Plato, an ancient Greek philosopher—uses feigned ignorance and sequential questioning to clarify meanings, spot contradictions and reveal ramifications. Many current AI systems tend towards sycophancy. Models trained in the Socratic method, says Jörg Noller, an expert on philosophy and AI at Ludwig Maximilian University of Munich, are less keen on people-pleasing and more willing to pursue the truth.

Then there is the idea of “Socratic ignorance”. In the “Apology”, Plato has Socrates claim that his wisdom consists mostly of being aware of how much he does not know. Implanting that humility into a model can help limit overconfidence, a common flaw that Dr Noller describes as “AI immaturity”. Iason Gabriel, a senior philosopher at Google DeepMind, an AI lab based in London, attributes an industry-wide decline in hallucinations to such efforts. More broadly, he says, philosophy lessons are “a powerful mechanism” for improving long AI reasoning processes known as “chains of thought”.

Philosophical training can also affect a model’s outlook in more specific ways. Feed an AI legal assistant the writings of John Locke, says Thomas Powers, a philosopher of technology at the University of Delaware, and it will favour robust property rights as an underpinning of political liberty. And if you don’t like those principles, the model-makers have others. The “Granite” series of models from IBM, an American computing giant, come with dials that let business customers better align outputs with their own corporate philosophies. Francesca Rossi, IBM’s head of responsible AI, says these can let users choose where to strike the balance between philosophical trade-offs, such individual agency versus social harmony.

Philosophy can help with safety, too. Researchers have documented all sorts of ominous behaviour in AI models, including attempts to evade oversight and even blackmail their users. One way modelmakers try to discourage this sort of misbehaviour is called AI constitutionalism. This involves building a model around a scaffolding of rules and principles culled from philosophical writings with legal or moral authority.

Anthropic, an AI lab based in San Francisco, is one proponent. Constitutions for its Claude models have incorporated material from sources as diverse as Immanuel Kant, Apple’s terms of service and the Universal Declaration of Human Rights. The latest iteration, led by Anthropic’s top philosopher, Amanda Askell, was published on January 21st. Some staff at Anthropic have nicknamed the 78-page constitution Claude’s “soul doc”.

The biggest question, though, is what sorts of rules should be put in those constitutions in the first place. Philosophers have zeroed in on two main ethical frameworks. One is deontology. Popular with Kant, among others, this imposes strict rules that prohibit things like lying, coercion and treating people as a means rather than an end, even if it is for a greater good. Anthropic’s constitution incorporates many deontological strictures. These can make AI behaviour more consistent, says Dr Powers—a plus for deploying robots in homes and public spaces.

Models with a deontological take on the world have other benefits. One is greater honesty, a trait widely noted in Claude. Models that are more truthful, says Nick Bostrom, a philosopher at the University of Oxford, are less likely to mislead their users. Inflection AI, another Silicon Valley lab, imposes deontological constraints on to its Pi chatbot, which is designed to provide emotional support. Sean White, its boss, says Pi is good at spotting users at risk of harming themselves or others. Deontological constitutions also help with legal compliance, says Dr Floridi.

The other approach to ethics of interest to philosophers of AI is called consequentialism. It weighs costs against benefits to decide what to do. Models more sympathetic to consequentialism include Open-AI’s ChatGPT and Google’s Gemini. Google’s AI models are designed to produce “likely overall benefits [that] substantially outweigh the foreseeable risks”, a classic consequentialist goal.

Consequentialism algorithms are also crucial in software for autonomous vehicles: if an accident is unavoidable, a decision must be made on the least tragic way to crash. Chris Gerdes, a senior engineer at Waymo, which makes self-driving cars, says the trend is to make driving software more consequentialist. Consequentialism is also central to AI weapon systems. Military objectives must be weighed against possible civilian deaths, says Jack Shanahan, a former head of the Joint Artificial Intelligence Centre, which studies AI for America’s armed forces.

Thorny problems abound—a philosopher’s favourite sort. Are there cases when deontological rules should be overridden? How do you make decisions when the consequences are unclear? Should AI systems take into account animal welfare, or the state of the environment? Would it be morally acceptable, asks Stefan Heck, a philosopher and the boss of Nauto, which makes AI-powered safety systems for lorries and other commercial vehicles, to prioritise young pedestrians over old ones? He predicts ethically fraught lawsuits: consequentialist algorithms, after all, explicitly permit one harm as long as it is designed to avert a worse one.

Critics fret about “moral deskilling”: if computers increasingly make ethical calls, might people become less willing to make their own judgments? Roman Yampolskiy, an AI theoretician at the University of Louisville, argues that morality “is historically unstable, culturally variable, strategically manipulable, and often only retrospectively legible”. Unemployed coders take note: there seems to be no shortage of work for philosophers of AI.