BY INVITATION
제목: 초대석
마리 포텔-사빌
거대 기술 기업이 사용자의 의도와 다르게 행동하도록 유도하는 것을 막아야 한다
메타(Meta)의 서버 어딘가에 "기밀"이라고 적힌 슬라이드 자료가 있었다. 2019년에 작성된 이 문서의 결론은 단호했다. "십 대들은 원하더라도 인스타그램을 끊을 수 없다." 올해 3월 25일, 로스앤젤레스 배심원단은 이 문서를 법정 증거로 채택하고, 메타와 유튜브가 중독성 있는 제품을 설계한 책임이 있다고 평결했다. 전 세계는 이 기념비적인 판결을 여전히 소화하는 중이다.
내가 2000년대 초반 경쟁법 전문 변호사로 활동할 당시, 경쟁자 간의 경쟁은 약탈적 가격 책정, 시장 봉쇄, 킬러 인수, 지연 대가 지급 등 익숙하고 추악한 방식으로 변질되곤 했다. 그러한 관행들은 결국 기소되었고, 거액의 벌금이나 때로는 구조적 시정 조치를 통해 해결되었다.
'KGM v 메타 플랫폼' 사건에서 제출된 내부 문서들은 완전히 다른 양상의 경쟁을 묘사한다. 2016년 메타는 틱톡과 스냅챗에 밀리고 있었다. 그해 경영진은 "전체적인 회사 목표"를 "총 십 대 체류 시간"으로 설정했다. 왜 그랬을까? 내부 메모에 따르면, 페이스북의 명목상 가입 연령이 13세 이상임에도 불구하고 12세 이용자가 32세 이용자보다 장기적으로 페이스북에 머물 가능성이 3배 더 높은 것으로 나타났기 때문이다. 해당 메모는 페이스북이 "더 많은 어린이를 유치하기 위해 투자를 강화하는 방안을 고려해야 한다"고 결론지었다. 논리는 냉혹할 정도로 단순했다. 가장 어릴 때 들어온 아이들이 가장 "끈끈한" 사용자가 된다는 것이었다.
회사는 자신들이 무엇을 만들고 있는지 정확히 알고 있었다. 내부 연구는 "중독자의 서사"를 정립했는데, 이는 십 대들이 스스로 부정적이라는 것을 알면서도 저항할 힘이 없다고 느끼는 강박적인 활동에 너무 많은 시간을 쏟고 있다는 내용이었다. 한 직원이 보낸 메시지에는 이런 내용이 있었다. "세상에, 다들 이거 알지, (인스타그램은) 마약이야. 우리는 사실상 마약 판매상이나 다름없어."
이 현상의 기저에 깔린 메커니즘을 나는 지금 "약탈적 설계(predatory design)"라고 부른다. 이는 다양한 형태로 나타난다. 아마존과 관련된 사례는 다른 먹잇감을 대상으로 동일한 이야기를 보여준다. 2023년 미국 연방거래위원회(FTC)는 아마존이 프라임 구독 프로그램을 설계하면서 사용자가 원하지 않는 멤버십에 가입하게 만들고, 쉽게 빠져나가지 못하도록 인터페이스를 조작했다는 이유로 소송을 제기했다. 아마존의 내부 문서는 이러한 방식을 "오도(misdirection)"라고 불렀다. 즉, "무료 2일 배송 받기"라는 크고 눈에 띄는 버튼을 눌러 프라임에 가입하게 하고, 이를 거절하는 링크는 눈에 띄지 않게 작고 회색인 텍스트로 처리한 것이다. 내부 메모에는 사용자에게 절차를 명확하게 하는 것은 비즈니스 성과에 "충격"을 줄 수 있으므로 "올바른 접근 방식"이 아니라고 적혀 있었다.
해지 절차도 같은 논리를 거꾸로 적용해 설계되었다. 아마존 내부에서 장기간의 트로이 전쟁을 다룬 호메로스의 대서사시 이름을 따 "일리아드 플로우(Iliad Flow)"라 부른 이 절차는, 사용자가 해지에 도달하기까지 4개의 페이지를 거쳐야 하고 6번의 클릭과 15개의 선택 항목을 지나쳐야만 했다. 아마존 자체 집계에 따르면 7년 동안 3,500만 명의 소비자가 실질적인 동의 없이 서비스에 가입되었다. 2025년 FTC와의 최종 합의금은 25억 달러에 달했다.
이러한 디지털 속임수를 생각하는 또 다른 방법은 "다크 패턴(dark patterns)"으로 보는 것이다. 이 용어는 2010년 사용자 경험 전문가인 해리 브리그널이 온라인상에서 "의도치 않은 행동을 하게 만드는" 속임수를 설명하기 위해 만든 말이다. 그 이후로 이 연구 분야는 인터페이스가 본래 봉사해야 할 사람들을 대상으로 인지 과학을 체계적으로 무기화하는 현상을 점진적으로 규명해 왔다.
우리 모두에게는 비합리적인 결정을 내리게 하는 정신적 지름길인 '인지 편향'이 많다. 다크 패턴은 이러한 약점을 악용한다. 하지만 중독적 설계는 더 나아가 뇌의 보상 체계를 직접 겨냥한다. 도파민 신경은 보상을 받았을 때가 아니라, 보상이 올지 말지 불확실할 때 반응한다. 결과가 예측 불가능할수록 신호는 더 강해진다.
디지털 플랫폼은 이러한 구조를 훨씬 더 정밀하고 비할 데 없이 거대한 규모로 복제했다. 무한 스크롤은 자연스러운 중단 지점을 제거한다. 알고리즘 피드는 콘텐츠를 예측할 수 없는 순서로 제한했다가 제공한다. 당겨서 새로고침하는 동작은 슬롯머신 레버를 당기는 물리적 행위와 거의 정확히 일치한다. 이러한 기능 중 우연히 만들어진 것은 하나도 없다.
경쟁법을 다루는 내 입장에서, 세계 최대 규모의 기업들이 봉사해야 할 바로 그 사람들을 먹잇감으로 삼을 때 이를 여전히 '시장'이라고 부를 수 있는지 의문이 들지 않을 수 없다. 시장 경제는 최적의 자원 배분과 소비자에게 최대의 이익을 창출하기 위한 것이다. 이러한 약속이 지켜지려면 소비자는 대안을 명확히 확인하고 선택할 수 있어야 하며, 왜곡되지 않은 기준으로 비교하고, 실제 자신의 이익을 반영하는 선호를 형성하며, 자유롭게 서비스를 이동할 수 있어야 한다. 인지적 착취는 이 네 가지를 모두 훼손한다. 무한 스크롤은 주의력을 포획하고, 다크 패턴은 비교를 왜곡한다. 도파민 루프는 강박을 조작하며, 중독 공학은 효과적인 서비스 이동을 차단한다.
다크 패턴과 중독적 설계는 수많은 법률을 위반한다. 규제 기구들도 움직이고 있다. 그러나 피해는 설계에 의해, 대규모로 계속되고 있다. 현재의 규칙들로는 적절한 체계적 대응이 되지 않기 때문이다.
입증 책임은 피해자가 아니라 플랫폼이 져야 한다. 문제는 피해를 본 사용자가 구체적인 손해를 증명할 수 있느냐가 아니다. 회사가 수십억 명에게 제품을 배포하기 전에, 그 제품이 약탈적으로 설계되지 않았음을 증명할 수 있느냐의 문제다.
거대 기술 플랫폼에 이 기준을 적용하는 것은 파괴적인 일이 될 것이다. 이는 무한 스크롤부터 알고리즘 증폭까지 모든 참여 메커니즘을 배포하기 전에 독립적인 안전성 평가를 받게 할 것이며, 이를 통과하지 못한 기능은 재설계하거나 폐기하도록 강제할 것이다. 플랫폼 체류 시간 극대화에 수익이 달린 업계에게는 매우 힘든 일이 될 것이다. 하지만 이것은 우리가 의약품, 의료 기기, 항공기에 적용하는 기준이다. 뇌의 보상 구조를 재배선하도록 설계된 시스템에 이 기준을 적용하지 못할 이유가 무엇인가?
마리 포텔-사빌은 페어패턴즈(FairPatterns)의 공동 창립자이자 유럽 데이터 보호 위원회의 다크 패턴 전문가 지원 풀 위원이며, 파리 '여성 AI 거버넌스(Women in AI Governance)' 의장을 맡고 있다.
마리 포텔-사빌
거대 기술 기업이 사용자의 의도와 다르게 행동하도록 유도하는 것을 막아야 한다
메타(Meta)의 서버 어딘가에 "기밀"이라고 적힌 슬라이드 자료가 있었다. 2019년에 작성된 이 문서의 결론은 단호했다. "십 대들은 원하더라도 인스타그램을 끊을 수 없다." 올해 3월 25일, 로스앤젤레스 배심원단은 이 문서를 법정 증거로 채택하고, 메타와 유튜브가 중독성 있는 제품을 설계한 책임이 있다고 평결했다. 전 세계는 이 기념비적인 판결을 여전히 소화하는 중이다.
내가 2000년대 초반 경쟁법 전문 변호사로 활동할 당시, 경쟁자 간의 경쟁은 약탈적 가격 책정, 시장 봉쇄, 킬러 인수, 지연 대가 지급 등 익숙하고 추악한 방식으로 변질되곤 했다. 그러한 관행들은 결국 기소되었고, 거액의 벌금이나 때로는 구조적 시정 조치를 통해 해결되었다.
'KGM v 메타 플랫폼' 사건에서 제출된 내부 문서들은 완전히 다른 양상의 경쟁을 묘사한다. 2016년 메타는 틱톡과 스냅챗에 밀리고 있었다. 그해 경영진은 "전체적인 회사 목표"를 "총 십 대 체류 시간"으로 설정했다. 왜 그랬을까? 내부 메모에 따르면, 페이스북의 명목상 가입 연령이 13세 이상임에도 불구하고 12세 이용자가 32세 이용자보다 장기적으로 페이스북에 머물 가능성이 3배 더 높은 것으로 나타났기 때문이다. 해당 메모는 페이스북이 "더 많은 어린이를 유치하기 위해 투자를 강화하는 방안을 고려해야 한다"고 결론지었다. 논리는 냉혹할 정도로 단순했다. 가장 어릴 때 들어온 아이들이 가장 "끈끈한" 사용자가 된다는 것이었다.
회사는 자신들이 무엇을 만들고 있는지 정확히 알고 있었다. 내부 연구는 "중독자의 서사"를 정립했는데, 이는 십 대들이 스스로 부정적이라는 것을 알면서도 저항할 힘이 없다고 느끼는 강박적인 활동에 너무 많은 시간을 쏟고 있다는 내용이었다. 한 직원이 보낸 메시지에는 이런 내용이 있었다. "세상에, 다들 이거 알지, (인스타그램은) 마약이야. 우리는 사실상 마약 판매상이나 다름없어."
이 현상의 기저에 깔린 메커니즘을 나는 지금 "약탈적 설계(predatory design)"라고 부른다. 이는 다양한 형태로 나타난다. 아마존과 관련된 사례는 다른 먹잇감을 대상으로 동일한 이야기를 보여준다. 2023년 미국 연방거래위원회(FTC)는 아마존이 프라임 구독 프로그램을 설계하면서 사용자가 원하지 않는 멤버십에 가입하게 만들고, 쉽게 빠져나가지 못하도록 인터페이스를 조작했다는 이유로 소송을 제기했다. 아마존의 내부 문서는 이러한 방식을 "오도(misdirection)"라고 불렀다. 즉, "무료 2일 배송 받기"라는 크고 눈에 띄는 버튼을 눌러 프라임에 가입하게 하고, 이를 거절하는 링크는 눈에 띄지 않게 작고 회색인 텍스트로 처리한 것이다. 내부 메모에는 사용자에게 절차를 명확하게 하는 것은 비즈니스 성과에 "충격"을 줄 수 있으므로 "올바른 접근 방식"이 아니라고 적혀 있었다.
해지 절차도 같은 논리를 거꾸로 적용해 설계되었다. 아마존 내부에서 장기간의 트로이 전쟁을 다룬 호메로스의 대서사시 이름을 따 "일리아드 플로우(Iliad Flow)"라 부른 이 절차는, 사용자가 해지에 도달하기까지 4개의 페이지를 거쳐야 하고 6번의 클릭과 15개의 선택 항목을 지나쳐야만 했다. 아마존 자체 집계에 따르면 7년 동안 3,500만 명의 소비자가 실질적인 동의 없이 서비스에 가입되었다. 2025년 FTC와의 최종 합의금은 25억 달러에 달했다.
이러한 디지털 속임수를 생각하는 또 다른 방법은 "다크 패턴(dark patterns)"으로 보는 것이다. 이 용어는 2010년 사용자 경험 전문가인 해리 브리그널이 온라인상에서 "의도치 않은 행동을 하게 만드는" 속임수를 설명하기 위해 만든 말이다. 그 이후로 이 연구 분야는 인터페이스가 본래 봉사해야 할 사람들을 대상으로 인지 과학을 체계적으로 무기화하는 현상을 점진적으로 규명해 왔다.
우리 모두에게는 비합리적인 결정을 내리게 하는 정신적 지름길인 '인지 편향'이 많다. 다크 패턴은 이러한 약점을 악용한다. 하지만 중독적 설계는 더 나아가 뇌의 보상 체계를 직접 겨냥한다. 도파민 신경은 보상을 받았을 때가 아니라, 보상이 올지 말지 불확실할 때 반응한다. 결과가 예측 불가능할수록 신호는 더 강해진다.
디지털 플랫폼은 이러한 구조를 훨씬 더 정밀하고 비할 데 없이 거대한 규모로 복제했다. 무한 스크롤은 자연스러운 중단 지점을 제거한다. 알고리즘 피드는 콘텐츠를 예측할 수 없는 순서로 제한했다가 제공한다. 당겨서 새로고침하는 동작은 슬롯머신 레버를 당기는 물리적 행위와 거의 정확히 일치한다. 이러한 기능 중 우연히 만들어진 것은 하나도 없다.
경쟁법을 다루는 내 입장에서, 세계 최대 규모의 기업들이 봉사해야 할 바로 그 사람들을 먹잇감으로 삼을 때 이를 여전히 '시장'이라고 부를 수 있는지 의문이 들지 않을 수 없다. 시장 경제는 최적의 자원 배분과 소비자에게 최대의 이익을 창출하기 위한 것이다. 이러한 약속이 지켜지려면 소비자는 대안을 명확히 확인하고 선택할 수 있어야 하며, 왜곡되지 않은 기준으로 비교하고, 실제 자신의 이익을 반영하는 선호를 형성하며, 자유롭게 서비스를 이동할 수 있어야 한다. 인지적 착취는 이 네 가지를 모두 훼손한다. 무한 스크롤은 주의력을 포획하고, 다크 패턴은 비교를 왜곡한다. 도파민 루프는 강박을 조작하며, 중독 공학은 효과적인 서비스 이동을 차단한다.
다크 패턴과 중독적 설계는 수많은 법률을 위반한다. 규제 기구들도 움직이고 있다. 그러나 피해는 설계에 의해, 대규모로 계속되고 있다. 현재의 규칙들로는 적절한 체계적 대응이 되지 않기 때문이다.
입증 책임은 피해자가 아니라 플랫폼이 져야 한다. 문제는 피해를 본 사용자가 구체적인 손해를 증명할 수 있느냐가 아니다. 회사가 수십억 명에게 제품을 배포하기 전에, 그 제품이 약탈적으로 설계되지 않았음을 증명할 수 있느냐의 문제다.
거대 기술 플랫폼에 이 기준을 적용하는 것은 파괴적인 일이 될 것이다. 이는 무한 스크롤부터 알고리즘 증폭까지 모든 참여 메커니즘을 배포하기 전에 독립적인 안전성 평가를 받게 할 것이며, 이를 통과하지 못한 기능은 재설계하거나 폐기하도록 강제할 것이다. 플랫폼 체류 시간 극대화에 수익이 달린 업계에게는 매우 힘든 일이 될 것이다. 하지만 이것은 우리가 의약품, 의료 기기, 항공기에 적용하는 기준이다. 뇌의 보상 구조를 재배선하도록 설계된 시스템에 이 기준을 적용하지 못할 이유가 무엇인가?
마리 포텔-사빌은 페어패턴즈(FairPatterns)의 공동 창립자이자 유럽 데이터 보호 위원회의 다크 패턴 전문가 지원 풀 위원이며, 파리 '여성 AI 거버넌스(Women in AI Governance)' 의장을 맡고 있다.