Silicon ceiling
제목: 실리콘 천장
AI 열풍이 병목 현상에 부딪혔다. 상황은 앞으로 더 악화될 것이다.
최근 실리콘밸리를 새로운 광풍이 휩쓸고 있다. 인공지능 도입의 선두주자임을 증명하려는 기술자들 사이에서 ‘토큰맥싱(tokenmaxxing)’이 유행하고 있다. 이는 AI 모델이 처리하는 텍스트 단위인 ‘토큰’을 누가 더 많이 소진하는지 경쟁하는 것을 말한다. 그러나 AI 수요가 치솟으면서 이러한 토큰은 점점 부족해지고 있다.
기업들에게 인기 있는 AI 모델을 제공하는 연구소 앤스로픽(Anthropic)은 지난 3월부터 사용량이 많은 시간대에 자사 도구에 대한 접근을 제한하기 시작했다. 그 이후로는 사용량을 억제하기 위해 구독 플랜을 변경하고 있다. 4월에는 하루에 약 30분씩 서비스 중단 사태를 겪기도 했다. 경쟁사인 오픈AI(OpenAI)는 지난 3월 컴퓨팅 자원을 재배치하기 위해 영상 생성 도구인 ‘소라(Sora)’를 갑작스럽게 중단했다. 4월 20일에는 마이크로소프트 소유의 코드 협업 사이트 깃허브(GitHub)가 자사 프로그래밍 봇의 신규 구독을 중단했다.
그들에게는 선택의 여지가 없었다. 수요는 그들이 설비를 확충하는 속도보다 더 빠르게 증가하고 있다. 모델 마켓플레이스인 오픈라우터(OpenRouter)가 처리한 주간 토큰량은 1월에서 3월 사이 4배로 늘었다. 한편, 업계는 새로운 인프라 구축에 사활을 걸고 있다. 4월 20일 앤스로픽은 아마존과 1,000억 달러 규모의 파트너십을 체결하여 최대 5기가와트의 서버 용량을 확보하기로 했으며, 이 중 약 5분의 1이 연말까지 가동될 예정이다. 4월 24일에는 구글이 앤스로픽의 컴퓨팅 수요를 충족할 수 있도록 400억 달러를 투자할 것이라고 밝혔다. 4월 27일 오픈AI는 마이크로소프트와의 파트너십을 개편하여 모든 클라우드 제공업체를 통해 제품을 배포할 수 있도록 함으로써 컴퓨팅 자원 확보에 유연성을 더하겠다고 발표했다.
알파벳, 아마존, 메타, 마이크로소프트, 오라클 등 5대 하이퍼스케일러들은 데이터 센터에 막대한 자금을 쏟아붓고 있다. 알파벳, 아마존, 오라클은 올해 들어서만 1,000억 달러 이상의 부채를 조달했다. 현금을 확보하기 위해 메타는 최근 인력의 10%를 감원하겠다고 밝혔고, 마이크로소프트는 직원 약 7%에게 희망퇴직을 권고했다.
그러나 용량 확충은 점점 더 어려워지고 있다. 미국을 비롯한 여러 국가에서 데이터 센터 건설에 대한 정치적 반대가 거세지고 있기 때문이다. 설상가상으로 칩, 네트워킹 장비, 냉각 장치 등 데이터 센터를 채우는 하드웨어를 만드는 기업들은 수요를 따라잡기에 턱없이 부족한 투자를 하고 있다. 따라서 용량 부족 문제는 더욱 심각해질 것으로 보인다.
정치적 문제부터 살펴보자. 지난 4월 미국 메인주 의회는 내년 11월까지 20메가와트 이상의 데이터 센터 건설을 금지하는 법안을 통과시켰다. 이후 주지사의 거부권 행사로 무산되긴 했지만, 미국 내 10개 이상의 주에서 유사한 법안이 검토되고 있다. 한 집계에 따르면 작년 미국에서 지역 주민의 반대와 소송으로 인해 1,560억 달러 규모의 데이터 센터 프로젝트가 중단되거나 지연되었다. 아일랜드에서 브라질에 이르기까지 다른 국가들에서도 반발이 커지고 있다. 특히 전력을 많이 소비하는 데이터 센터가 전기 요금에 미치는 영향에 대한 우려가 확산되고 있으며, 걸프 지역의 전쟁으로 에너지 가격이 상승함에 따라 이러한 우려는 더욱 심화될 수 있다.
데이터 센터 건설 승인을 받고 전력망이나 자체 발전 수단 등 전력 공급원을 연결하는 데 성공하더라도, 운영에 필요한 컴퓨팅 장비를 구하는 것 또한 점점 더 어려워지고 있다.
리서치 업체 세미애널리시스(SemiAnalysis)의 이반 치암은 현재 건설 중인 데이터 센터를 채울 칩이 부족하다고 지적한다. 전 세계 AI 컴퓨팅 파워의 3분의 2 이상을 제공하는 엔비디아(Nvidia)의 GPU를 살펴보자. 2022년에 출시된 H100 GPU 임대 가격은 지난 11월 이후 약 30% 급등했는데, 이는 최신 모델을 구하지 못한 고객들이 구형 모델로 눈을 돌리고 있기 때문이다. 경쟁 AI 프로세서 역시 구하기가 점점 어려워지고 있다. 4월 아마존의 앤디 재시 CEO는 자사의 ‘트레이니움2(Trainium2)’ AI 칩의 접근 권한이 거의 매진되었다고 밝혔다. 내년에 출시될 ‘트레이니움4’의 용량 상당 부분도 이미 예약이 완료된 상태다.
공급 부족 현상은 메모리 칩, 특히 AI 모델이 의존하는 고대역폭 메모리(HBM)로까지 확산되고 있다. SK하이닉스, 삼성, 마이크론 등 3대 제조사 모두 2026년 공급 물량 대부분이 매진되었다고 말한다. 지난 3월 구글이 AI가 필요로 하는 메모리 용량을 줄여주는 알고리즘 ‘터보퀀트(TurboQuant)’를 발표했을 때 메모리 제조사들의 주가가 일시적으로 하락하며 잠시 희망이 보이는 듯했지만, HBM에 대한 수요는 최소 향후 3년간 공급을 상회할 것으로 예상된다.
부족 현상은 이제 중앙처리장치(CPU)로 번지고 있다. 계획을 세우고 추론하며 작업을 수행하는 ‘에이전틱(Agentic)’ AI 도구는 작업을 조율하기 위해 이러한 칩에 더 크게 의존한다. 투자은행 모건스탠리는 에이전틱 시스템이 챗봇형 시스템(GPU 12개당 CPU 1개 비율)보다 훨씬 많은, GPU당 1개의 CPU를 요구하는 것으로 추정한다. 실제로 CPU에 대한 수요는 매우 강력하여 얼마 전까지만 해도 붕괴 위기에 처했던 인텔에 새로운 활력을 불어넣었다. CPU의 주요 생산국 중 하나인 미국 칩 제조사 인텔의 시가총액은 지난 6개월 동안 두 배 이상 증가했다(차트 1 참조).
문제의 핵심은 AI 공급망에 있는 기업들이 하이퍼스케일러들보다 훨씬 적은 투자를 하고 있다는 점이다. 올해 칩, 칩 제조 장비, 서버, 네트워킹 및 냉각 장비를 만드는 주요 50개 제조사의 계획된 자본 지출과 2024년 대비 변화를 조사한 결과, 5대 하이퍼스케일러는 총 자본 지출을 7,500억 달러 이상으로 세 배 늘렸지만, 하드웨어 공급업체들은 자본 지출을 절반 정도만 늘렸으며 올해 클라우드 거대 기업들에 비해 3분의 1 미만의 금액을 투자할 예정이다(차트 2 참조).
세계 최대의 반도체 위탁 생산 기업이자 최첨단 GPU 및 CPU의 지배적 공급업체인 TSMC를 예로 들어보자. 5나노 이하 칩을 만드는 가장 최첨단 공장은 이미 풀가동 중이다. C.C. 웨이 CEO는 공급이 “매우 빠듯하다”고 인정하면서도 “지름길은 없다”고 말한다. 새로운 공장을 짓는 데는 2~3년이 걸리기 때문이다. TSMC는 2026년에 2025년 대비 34% 증가한 약 550억 달러를 투자할 계획이며, 분석가들은 이 수치가 2027년에는 650억 달러까지 오를 것으로 예상한다. 하지만 매출 대비 자본 지출 비율은 2022년 약 절반에서 올해 3분의 1 수준으로 떨어졌다.
TSMC의 신중한 태도는 고객들을 답답하게 만들고 있다. 샘 올트먼 오픈AI CEO는 “그냥 용량을 더 늘려달라”고 촉구했다. 일론 머스크 테슬라 및 스페이스X CEO는 현재 전 세계 반도체 산업 전체보다 더 많은 연간 컴퓨팅 파워를 생산하겠다는 소박한 야망을 담은 ‘테라팹(Terafab)’을 건설하겠다고 밝혔다.
머스크가 인텔의 도움을 받아 구축 중인 이 시설은 빨라야 2028년에나 생산을 시작할 수 있을 것으로 보이며, 그마저도 당초 구상했던 규모의 일부에 그칠 가능성이 크다. 게다가 머스크는 시설 운영에 필요한 첨단 장비를 확보하는 데 어려움을 겪을 수 있는데, 이 장비들 또한 공급이 부족하기 때문이다. 이는 현재 AI의 미래를 어둡게 하는 불일치를 잘 보여준다. 소프트웨어를 개선하는 데는 몇 달이 걸리지만 공급망을 확장하는 데는 몇 년이 걸린다. 하드웨어 제조사들은 과잉 생산을 했다가 가동되지 않는 설비를 떠안게 될까 봐 경계하고 있다. ‘토큰맥싱’에 대한 광풍은 곧 사그라들지도 모른다.
AI 열풍이 병목 현상에 부딪혔다. 상황은 앞으로 더 악화될 것이다.
최근 실리콘밸리를 새로운 광풍이 휩쓸고 있다. 인공지능 도입의 선두주자임을 증명하려는 기술자들 사이에서 ‘토큰맥싱(tokenmaxxing)’이 유행하고 있다. 이는 AI 모델이 처리하는 텍스트 단위인 ‘토큰’을 누가 더 많이 소진하는지 경쟁하는 것을 말한다. 그러나 AI 수요가 치솟으면서 이러한 토큰은 점점 부족해지고 있다.
기업들에게 인기 있는 AI 모델을 제공하는 연구소 앤스로픽(Anthropic)은 지난 3월부터 사용량이 많은 시간대에 자사 도구에 대한 접근을 제한하기 시작했다. 그 이후로는 사용량을 억제하기 위해 구독 플랜을 변경하고 있다. 4월에는 하루에 약 30분씩 서비스 중단 사태를 겪기도 했다. 경쟁사인 오픈AI(OpenAI)는 지난 3월 컴퓨팅 자원을 재배치하기 위해 영상 생성 도구인 ‘소라(Sora)’를 갑작스럽게 중단했다. 4월 20일에는 마이크로소프트 소유의 코드 협업 사이트 깃허브(GitHub)가 자사 프로그래밍 봇의 신규 구독을 중단했다.
그들에게는 선택의 여지가 없었다. 수요는 그들이 설비를 확충하는 속도보다 더 빠르게 증가하고 있다. 모델 마켓플레이스인 오픈라우터(OpenRouter)가 처리한 주간 토큰량은 1월에서 3월 사이 4배로 늘었다. 한편, 업계는 새로운 인프라 구축에 사활을 걸고 있다. 4월 20일 앤스로픽은 아마존과 1,000억 달러 규모의 파트너십을 체결하여 최대 5기가와트의 서버 용량을 확보하기로 했으며, 이 중 약 5분의 1이 연말까지 가동될 예정이다. 4월 24일에는 구글이 앤스로픽의 컴퓨팅 수요를 충족할 수 있도록 400억 달러를 투자할 것이라고 밝혔다. 4월 27일 오픈AI는 마이크로소프트와의 파트너십을 개편하여 모든 클라우드 제공업체를 통해 제품을 배포할 수 있도록 함으로써 컴퓨팅 자원 확보에 유연성을 더하겠다고 발표했다.
알파벳, 아마존, 메타, 마이크로소프트, 오라클 등 5대 하이퍼스케일러들은 데이터 센터에 막대한 자금을 쏟아붓고 있다. 알파벳, 아마존, 오라클은 올해 들어서만 1,000억 달러 이상의 부채를 조달했다. 현금을 확보하기 위해 메타는 최근 인력의 10%를 감원하겠다고 밝혔고, 마이크로소프트는 직원 약 7%에게 희망퇴직을 권고했다.
그러나 용량 확충은 점점 더 어려워지고 있다. 미국을 비롯한 여러 국가에서 데이터 센터 건설에 대한 정치적 반대가 거세지고 있기 때문이다. 설상가상으로 칩, 네트워킹 장비, 냉각 장치 등 데이터 센터를 채우는 하드웨어를 만드는 기업들은 수요를 따라잡기에 턱없이 부족한 투자를 하고 있다. 따라서 용량 부족 문제는 더욱 심각해질 것으로 보인다.
정치적 문제부터 살펴보자. 지난 4월 미국 메인주 의회는 내년 11월까지 20메가와트 이상의 데이터 센터 건설을 금지하는 법안을 통과시켰다. 이후 주지사의 거부권 행사로 무산되긴 했지만, 미국 내 10개 이상의 주에서 유사한 법안이 검토되고 있다. 한 집계에 따르면 작년 미국에서 지역 주민의 반대와 소송으로 인해 1,560억 달러 규모의 데이터 센터 프로젝트가 중단되거나 지연되었다. 아일랜드에서 브라질에 이르기까지 다른 국가들에서도 반발이 커지고 있다. 특히 전력을 많이 소비하는 데이터 센터가 전기 요금에 미치는 영향에 대한 우려가 확산되고 있으며, 걸프 지역의 전쟁으로 에너지 가격이 상승함에 따라 이러한 우려는 더욱 심화될 수 있다.
데이터 센터 건설 승인을 받고 전력망이나 자체 발전 수단 등 전력 공급원을 연결하는 데 성공하더라도, 운영에 필요한 컴퓨팅 장비를 구하는 것 또한 점점 더 어려워지고 있다.
리서치 업체 세미애널리시스(SemiAnalysis)의 이반 치암은 현재 건설 중인 데이터 센터를 채울 칩이 부족하다고 지적한다. 전 세계 AI 컴퓨팅 파워의 3분의 2 이상을 제공하는 엔비디아(Nvidia)의 GPU를 살펴보자. 2022년에 출시된 H100 GPU 임대 가격은 지난 11월 이후 약 30% 급등했는데, 이는 최신 모델을 구하지 못한 고객들이 구형 모델로 눈을 돌리고 있기 때문이다. 경쟁 AI 프로세서 역시 구하기가 점점 어려워지고 있다. 4월 아마존의 앤디 재시 CEO는 자사의 ‘트레이니움2(Trainium2)’ AI 칩의 접근 권한이 거의 매진되었다고 밝혔다. 내년에 출시될 ‘트레이니움4’의 용량 상당 부분도 이미 예약이 완료된 상태다.
공급 부족 현상은 메모리 칩, 특히 AI 모델이 의존하는 고대역폭 메모리(HBM)로까지 확산되고 있다. SK하이닉스, 삼성, 마이크론 등 3대 제조사 모두 2026년 공급 물량 대부분이 매진되었다고 말한다. 지난 3월 구글이 AI가 필요로 하는 메모리 용량을 줄여주는 알고리즘 ‘터보퀀트(TurboQuant)’를 발표했을 때 메모리 제조사들의 주가가 일시적으로 하락하며 잠시 희망이 보이는 듯했지만, HBM에 대한 수요는 최소 향후 3년간 공급을 상회할 것으로 예상된다.
부족 현상은 이제 중앙처리장치(CPU)로 번지고 있다. 계획을 세우고 추론하며 작업을 수행하는 ‘에이전틱(Agentic)’ AI 도구는 작업을 조율하기 위해 이러한 칩에 더 크게 의존한다. 투자은행 모건스탠리는 에이전틱 시스템이 챗봇형 시스템(GPU 12개당 CPU 1개 비율)보다 훨씬 많은, GPU당 1개의 CPU를 요구하는 것으로 추정한다. 실제로 CPU에 대한 수요는 매우 강력하여 얼마 전까지만 해도 붕괴 위기에 처했던 인텔에 새로운 활력을 불어넣었다. CPU의 주요 생산국 중 하나인 미국 칩 제조사 인텔의 시가총액은 지난 6개월 동안 두 배 이상 증가했다(차트 1 참조).
문제의 핵심은 AI 공급망에 있는 기업들이 하이퍼스케일러들보다 훨씬 적은 투자를 하고 있다는 점이다. 올해 칩, 칩 제조 장비, 서버, 네트워킹 및 냉각 장비를 만드는 주요 50개 제조사의 계획된 자본 지출과 2024년 대비 변화를 조사한 결과, 5대 하이퍼스케일러는 총 자본 지출을 7,500억 달러 이상으로 세 배 늘렸지만, 하드웨어 공급업체들은 자본 지출을 절반 정도만 늘렸으며 올해 클라우드 거대 기업들에 비해 3분의 1 미만의 금액을 투자할 예정이다(차트 2 참조).
세계 최대의 반도체 위탁 생산 기업이자 최첨단 GPU 및 CPU의 지배적 공급업체인 TSMC를 예로 들어보자. 5나노 이하 칩을 만드는 가장 최첨단 공장은 이미 풀가동 중이다. C.C. 웨이 CEO는 공급이 “매우 빠듯하다”고 인정하면서도 “지름길은 없다”고 말한다. 새로운 공장을 짓는 데는 2~3년이 걸리기 때문이다. TSMC는 2026년에 2025년 대비 34% 증가한 약 550억 달러를 투자할 계획이며, 분석가들은 이 수치가 2027년에는 650억 달러까지 오를 것으로 예상한다. 하지만 매출 대비 자본 지출 비율은 2022년 약 절반에서 올해 3분의 1 수준으로 떨어졌다.
TSMC의 신중한 태도는 고객들을 답답하게 만들고 있다. 샘 올트먼 오픈AI CEO는 “그냥 용량을 더 늘려달라”고 촉구했다. 일론 머스크 테슬라 및 스페이스X CEO는 현재 전 세계 반도체 산업 전체보다 더 많은 연간 컴퓨팅 파워를 생산하겠다는 소박한 야망을 담은 ‘테라팹(Terafab)’을 건설하겠다고 밝혔다.
머스크가 인텔의 도움을 받아 구축 중인 이 시설은 빨라야 2028년에나 생산을 시작할 수 있을 것으로 보이며, 그마저도 당초 구상했던 규모의 일부에 그칠 가능성이 크다. 게다가 머스크는 시설 운영에 필요한 첨단 장비를 확보하는 데 어려움을 겪을 수 있는데, 이 장비들 또한 공급이 부족하기 때문이다. 이는 현재 AI의 미래를 어둡게 하는 불일치를 잘 보여준다. 소프트웨어를 개선하는 데는 몇 달이 걸리지만 공급망을 확장하는 데는 몇 년이 걸린다. 하드웨어 제조사들은 과잉 생산을 했다가 가동되지 않는 설비를 떠안게 될까 봐 경계하고 있다. ‘토큰맥싱’에 대한 광풍은 곧 사그라들지도 모른다.