핵심 요약
- 추론(Inference) 시대로의 전환: AI 시장의 무게중심이 일회성 비용인 ‘학습(Training)‘에서 반복적·지속적 비용인 ‘추론(Inference)‘으로 이동하며, 2027년까지 전체 AI 컴퓨팅 지출의 70~80%를 차지할 전망입니다 Morgan Stanley, Goldman Sachs.
- 토큰(Token) 경제의 부상: AI 서비스의 비용과 사용량을 측정하는 핵심 단위로 ‘토큰’이 부상했습니다. 토큰당 비용(P)은 매년 10배씩 하락하지만, 에이전틱 AI 확산으로 총 토큰 사용량(Q)이 2026~2030년 24배 증가해 전체 인프라 시장(P x Q) 성장을 견인합니다 Goldman Sachs Research, Gartner.
- HBM·메모리 병목 심화: 추론 연산은 학습보다 메모리 대역폭 의존도가 높아, HBM(고대역폭 메모리)이 핵심 병목으로 부상했습니다. 하이퍼스케일러의 공격적인 CAPEX는 HBM 공급 부족을 심화시켜 공급자(SK하이닉스, 삼성전자)의 교섭력을 극대화합니다 추론의 기술적 특성 기반.
💡 구조 Thesis (One-Liner)
① AI 시장의 무게중심이 ‘학습’에서 ‘추론’으로 이동하고 ‘토큰(Token)‘이 AI 경제의 핵심 단위로 부상하는 구조적 동인이 ② HBM/메모리 반도체 밸류체인에 마진·교섭력·자금을 몰아주며, ③ 하이퍼스케일러의 공격적인 CAPEX(2026년 7,250억 달러, 전년 대비 +77%)와 에이전틱 AI 확산 때문에 변곡점에 있는데, ④ 시장은 추론 비용(P) 하락에 대한 과도한 우려로 폭발적 수요(Q) 증가가 견인할 HBM/메모리 공급자의 구조적 성장을 아직 가격에 충분히 반영하지 못한다.
— 가장 약한 고리: 에이전틱 AI 등 신규 서비스의 토큰 수요(Q) 증가 속도가 비용(P) 하락 속도를 압도하지 못할 리스크
구조 도식
무엇이 바뀌었나
- AI 경제의 무게중심 이동: AI 서비스가 상용화·대중화 단계에 진입하며, 전체 AI 연산에서 추론(Inference) 비중이 60%를 돌파했습니다 Epoch AI. 이는 일회성 투자였던 학습과 달리, 사용량에 비례하는 지속적인 인프라 수요를 의미합니다.
- ‘토큰’의 KPI화: Google이 월 980조 토큰 처리량을 공개하며 성공 지표로 언급했듯, 토큰은 AI 서비스의 실제 사용량과 비용을 측정하는 핵심 단위가 되었습니다 CLSA ‘Token’s Tale’ 리포트, 2025년 8월. 이제 AI 경제는 ‘토큰당 비용(P)‘과 ‘총 토큰 소비량(Q)‘의 함수로 분석됩니다.
- 하이퍼스케일러의 구조적 투자 사이클 진입: Google, Amazon, Microsoft, Meta 4사의 2026년 합산 CAPEX는 7,250억 달러로 전년 대비 77% 급증할 전망입니다 Financial Times 집계. 이는 단기 트렌드가 아닌, 향후 10년간 10조 달러 규모의 AI 인프라 구축을 위한 구조적 투자 사이클의 시작입니다 CLSA.
- 에이전틱 AI의 토큰 소비 폭증: 단순 챗봇을 넘어 복잡한 작업을 자율 수행하는 AI 에이전트는 기존 서비스 대비 작업당 5~30배 더 많은 토큰을 소비합니다 Gartner 2026년 분석. 이는 AI 서비스 고도화가 곧 인프라 수요 폭증으로 직결됨을 시사합니다.
시장이 오해하기 쉬운 지점
시장은 추론 비용 하락이라는 단편적 사실에 매몰되어, 폭발적인 수요 증가가 전체 시장 규모를 키우는 구조적 변화를 간과하고 있습니다.
| 오해 (Misconception) | 실제 질문 (The Real Question) | 확인 지표 (Key Metrics to Watch) |
|---|---|---|
| “추론 비용(P)이 매년 10배씩 하락하므로 AI 인프라 투자는 곧 정체될 것이다.” | 토큰당 비용(P) 하락 속도보다 총 토큰 수요(Q) 증가 속도가 더 빠른가? (P x Q = Total Market) | - 하이퍼스케일러의 월간/분기별 토큰 처리량 증가율 - 에이전틱 AI 서비스의 사용자당 평균 토큰 소비량 - HBM/AI 가속기 출하량 및 ASP 추이 |
| “AI는 특정 기업(NVIDIA)만 수혜를 보는 승자독식 게임이다.” | 추론 시대의 새로운 병목은 무엇이며, 가치사슬 내에서 마진이 어디로 이동하는가? | - AI 서버당 HBM 탑재 용량 및 가격 - HBM 제조사(SK하이닉스, 삼성)와 AI 가속기 제조사(NVIDIA)의 영업이익률 비교 - 커스텀 AI 칩(ASIC) 시장 성장률 |
| “하이퍼스케일러의 CAPEX는 비이성적인 과잉 투자(버블)이다.” | 이들의 투자는 방어(기존 사업 모델 보호)와 공격(신규 시장 창출) 중 어느 동인이 더 강하며, 지속 가능한가? | - Microsoft Copilot, Google AI Search 등 AI 서비스의 매출 기여도 - 하이퍼스케일러의 영업 현금 흐름 대비 CAPEX 비중 - AI가 대체할 시장 규모 (SaaS, IT서비스 등) |
업의 본질
- 고객 문제: 모든 산업에서 지능(Intelligence)을 저렴한 비용으로 무한히 확장하고, 이를 통해 생산성을 극대화하려는 수요를 해결합니다.
- 지불 주체: 1차적으로는 AI 인프라를 구축하는 하이퍼스케일러(Google, MS, Amazon, Meta) 및 대기업이며, 궁극적으로는 이들의 AI 서비스를 사용하는 모든 기업과 개인입니다.
- 수익 모델 (P·Q·C 프레임워크):
- P (Price/Token): 기술 혁신(차세대 칩)과 경쟁 심화로 토큰당 처리 비용은 구조적으로 하락합니다. 동일 성능 기준 연간 10배 하락 추정 Introl.
- Q (Quantity of Tokens): 검색, 오피스 등 기존 서비스의 AI 전환과 에이전틱 AI, AI 비디오 등 신규 고도화 서비스 등장으로 처리해야 할 총 토큰량은 기하급수적으로 증가합니다. 2026~2030년 24배 증가 전망 Goldman Sachs Research.
- C (Cost/Infrastructure): 총 토큰 수요(Q)를 감당하기 위한 인프라 비용(HBM, GPU, 전력)이 폭증하며, 이 비용 구조 내 가장 심각한 병목을 통제하는 플레이어가 최대 이익을 가져갑니다. 현재 핵심 병목은 HBM입니다 추론 연산의 메모리 I/O 집약적 특성.
업의 방향
수익 풀(Profit Pool)은 AI 모델 개발사에서 AI 인프라, 특히 핵심 병목인 HBM/메모리 공급자로 이동하고 있습니다.
| 구분 | 2~3년 전 (학습 시대) | 현재 ~ 3-5년 후 (추론 시대) |
|---|---|---|
| 핵심 과제 | 더 큰 모델(LLM) 만들기 | 더 저렴하고 빠르게 서비스하기 (Low Latency, High Throughput) |
| 주요 비용 | 모델 학습(Training)을 위한 일회성 컴퓨팅 투자 | 모델 추론(Inference)을 위한 지속적·반복적 인프라 투자 |
| 기술 병목 | GPU 연산 능력 (FLOPS) | 메모리 대역폭 (Bandwidth), 전력 효율 |
| 수익 풀 | AI 모델 개발사(OpenAI 등)의 잠재적 가치 | HBM/메모리 (SK하이닉스, 삼성전자), AI 가속기 (NVIDIA), 커스텀 칩 (Broadcom), 전력 인프라 |
| 결정 변수 | 모델 성능 (파라미터 수) | TCO (총소유비용), 토큰당 처리 비용 |
구조 도식 2: 밸류체인 병목 지도
하이퍼스케일러의 CAPEX 지출이 밸류체인 상류로 흘러가며, 현재 가장 강력한 교섭력을 가진 병목은 HBM/메모리입니다.
수혜 강도 매트릭스
| 버킷 | 대표 노출 | 수혜 강도 | 지속성 | 확인 지표 | 리스크 |
|---|---|---|---|---|---|
| HBM/메모리 | SK하이닉스, 삼성전자 | 높음 | 구조적 | - HBM 출하량 및 ASP - 분기별 영업이익률 - 주요 고객사(NVIDIA, Google) 내 점유율 | - 신규 경쟁자 진입 - 기술 전환(HBM3E→HBM4) 지연 - 예상보다 빠른 공급 과잉 |
| AI 가속기 (GPU) | NVIDIA | 높음 | 구조적 | - 데이터센터 부문 매출 성장률 - 차세대 칩(Rubin) 로드맵 및 가격 정책 | - 하이퍼스케일러의 커스텀 칩(ASIC) 내재화 - AMD 등 경쟁사의 추격 |
| AI 가속기 (ASIC) | Broadcom, Marvell | 중간 | 구조적 | - 커스텀 칩 부문 수주 및 매출 - AI 네트워킹 칩 매출 성장률 | - 특정 고객(Google, Meta) 의존도 - 높은 밸류에이션 부담 |
| 파운드리 | TSMC | 중간 | 구조적 | - 3/2nm 등 첨단 공정 가동률 및 수율 - CoWoS 등 패키징 CAPA 증설 규모 | - 지정학적 리스크 - AI 칩 수요 둔화 시 가동률 하락 |
한국 증시 적용
| 영역 | 대표 노출 | 왜 중요해졌나 | 확인할 숫자 | 판단 |
|---|---|---|---|---|
| HBM/메모리 | SK하이닉스, 삼성전자 | 추론 시대의 핵심 병목인 ‘메모리 대역폭’을 독과점적으로 공급. 하이퍼스케일러 CAPEX의 최종 수혜자. | - HBM 분기별 매출 및 전사 이익 기여도 - HBM3E 수율 및 차세대 제품 양산 시점 - 고객사(NVIDIA, Google) 인증 및 공급 계약 | Watch / Conditional |
| 반도체 장비 | 한미반도체, HPSP | HBM 생산 능력(CAPA) 증설에 필수적인 TC 본더, 어닐링 장비 공급. 전방 산업 투자의 선행 지표. | - HBM 제조사의 CAPEX 계획 - 장비 수주 잔고 및 신규 수주 공시 - 분기 실적 및 가이던스 | Event-driven / 추격 금지 |
| 기판/소재 | 이수페타시스, ISC | AI 가속기용 고다층 기판 및 테스트 소켓 수요 증가. 밸류체인 낙수 효과. | - AI 관련 제품 매출 비중 및 성장률 - 주요 고객사 내 점유율 변화 | Event-driven / 추격 금지 |
실행 프레임
- Buy now: 없음. 구조적 변화는 명확하나, 현재 주가에 반영된 기대 수준이 높아 즉각적 편입은 신중한 접근이 필요합니다.
- Watch / conditional:
- HBM/메모리 (SK하이닉스, 삼성전자): 가장 직접적인 구조적 수혜주. 다음 분기 실적에서 HBM의 ASP(평균판매단가)와 출하량이 시장 컨센서스를 상회하는지 확인하는 것이 핵심 조건입니다. 특히 SK하이닉스의 HBM3E 리더십 유지 여부와 삼성전자의 HBM3E 고객사 인증 통과 및 수율 개선 속도가 주요 관찰 포인트입니다.
- Event-driven / 추격 금지:
- 반도체 장비 및 기판/소재: HBM 제조사의 대규모 증설 발표 등 뉴스 플로우에 민감하게 반응하나, 실적 가시성 대비 주가 변동성이 큽니다. 이들의 펀더멘털은 전방 산업(HBM)의 투자 사이클에 종속되므로, 선행 지표 확인 후 접근하는 것이 유효합니다.
리스크·철회 트리거
본 논지를 약화시키거나 철회해야 할 핵심 리스크 요인들입니다.
| 조건 | 관찰 지표 | 의미 |
|---|---|---|
| 수요(Q) 성장 둔화 | - Microsoft Copilot, Google Gemini 등 주요 AI 서비스의 월간 활성 사용자(MAU) 증가율 정체 - 하이퍼스케일러의 분기별 토큰 처리량 성장률이 50% 이하로 둔화 | 폭발적 수요(Q) 증가 가설이 훼손. 비용(P) 하락 효과가 시장 성장(P x Q)을 압도하며 투자 사이클 둔화 우려 증폭. |
| 비용(P) 급락 가속화 | - 차세대 AI 가속기(NVIDIA Rubin 등)가 기존 대비 10배 이상의 추론 성능 향상을 발표 - 소프트웨어 최적화(e.g., Quantization)로 필요 HBM 대역폭이 급감하는 기술 등장 | HBM의 병목 현상이 예상보다 빠르게 해소될 수 있음을 시사. HBM 공급자의 교섭력 약화 및 판가 하락 압력으로 작용. |
| 공급망 병목 이전 | - 데이터센터 전력 부족이 심화되어 AI 가속기 설치 자체가 지연 - TSMC의 CoWoS 패키징 CAPA 부족이 HBM 공급보다 더 심각한 병목으로 작용 | HBM 공급이 충분하더라도 최종 제품 생산이 막히면서 HBM 수요가 감소할 수 있음. 밸류체인 내 다른 병목으로 이익 풀이 이동. |
| 지정학적 리스크 | - 미-중 갈등 심화로 인한 대중국 반도체 장비 수출 통제 강화 - 대만 해협 긴장 고조 | TSMC 파운드리 생산 차질 발생 시, 전 세계 AI 칩 공급망 전체가 마비될 리스크. |
근거 분류
| 구분 | 내용 | 출처/근거 |
|---|---|---|
| Fact | 4대 하이퍼스케일러 2026년 CAPEX 7,250억 달러 전망 | Financial Times (FT) 집계 |
| Fact | 2027년까지 AI 컴퓨팅 지출의 70~80%가 추론에 집중될 전망 | Morgan Stanley, Goldman Sachs 리서치 |
| Fact | 에이전틱 AI는 표준 챗봇 대비 작업당 5~30배 더 많은 토큰 소비 | Gartner 2026년 분석 |
| Fact | 2026~2030년 총 토큰 소비량 24배 증가 전망 | Goldman Sachs Research |
| Fact | 동일 성능 기준 추론 비용 매년 10배 하락 | Introl |
| Fact | Google 월 980조 토큰 처리량 공개 | CLSA ‘Token’s Tale’ 리포트 (2025년 8월) |
| Inference | AI 시장 무게중심이 추론으로 이동하며 메모리 대역폭이 핵심 병목으로 부상 | 학습 대비 추론 연산의 기술적 특성 (메모리 I/O 집약적)에 기반한 추론 |
| Inference | 시장은 추론 비용(P) 하락을 과대평가하고 수요(Q) 증가를 과소평가하고 있음 | P·Q 관련 데이터와 현재 주가 밸류에이션 간의 갭 분석 |
| Speculation | 향후 10년간 AI 인프라 구축에 누적 10조 달러가 투자될 것 | CLSA 리포트의 장기 전망 시나리오에 기반한 가정 |
References
본문 수치·주장은 아래 출처를 교차확인했습니다.
- https://arxiv.org/html/2603.21690v1
- https://medium.com/@bailey55015/the-inference-inflection-why-nvidia-paid-20-billion-to-stay-relevant-d5b7aa07fdc1
- https://telnyx.com/resources/ai-training-vs-inference
- https://www.kucoin.com/news/flash/ai-inference-drives-new-memory-demand-in-semiconductor-industry
- https://www.deloitte.com/us/en/insights/industry/technology/technology-media-and-telecom-predictions/2026/compute-power-ai.html
- 단가 급락이 수요 증가를 상쇄할 경우 인프라 투자 ROI 불확실성 존재. — https://www.gartner.com/en/newsroom/press-releases/2026-03-25-gartner-predicts-that-by-2030-performing-inference-on-an-llm-with-1-trillion-parameters-will-cost-genai-providers-over-90-percent-less-than-in-2025
- https://introl.com/blog/inference-unit-economics-true-cost-per-million-tokens-guide
- https://www.gminsights.com/industry-analysis/generative-ai-market
- https://www.mordorintelligence.kr/industry-reports/artificial-intelligence-chipsets-market
- https://www.yolegroup.com/press-release/data-center-semiconductor-trends-2025-artificial-intelligence-reshapes-compute-and-memory-markets/
- https://nationalcioreview.com/articles-insights/extra-bytes/semiconductor-market-revalued-as-ai-drives-significant-growth/
- https://news.skhynix.co.kr/2026-market-outlook/
- https://www.tomshardware.com/tech-industry/big-tech/big-techs-ai-spending-plans-reach-725-billion
- https://futurumgroup.com/insights/ai-capex-2026-the-690b-infrastructure-sprint/
- https://finance.yahoo.com/sectors/technology/articles/hyperscalers-hit-700-billion-2026-111243744.html
- https://finance.yahoo.com/sectors/technology/article/meta-microsoft-amazon-and-alphabet-are-about-to-spend-a-shocking-amount-of-money-to-dominate-the-ai-era-115359575.html
- https://www.morganstanley.com.au/ideas/ai-enters-a-new-phase-of-inference
- https://www.goldmansachs.com/insights/articles/ai-agents-forecast-to-boost-tech-cash-flow-as-usage-soars
- https://introl.com/blog/cost-per-token-llm-inference-optimization
- https://v.daum.net/v/HHzYCXrNCJ
- https://oplexa.com/ai-inference-cost-crisis-2026/
- https://securities.miraeasset.com/bbs/download/2142742.pdf?attachmentId=2142742
- http://m.ceoscoredaily.com/page/view/2025120814104920681
- https://silverlab.co.kr/blog/2026-samsung-sk-hynix-stock-senior-investing
- https://www.mindlenews.com/news/articleView.html?idxno=20417
- https://www.fool.com/investing/2025/12/30/gpus-are-so-2025-this-is-2026s-hottest-trend-for-t/
- https://files-scs.pstatic.net/2025/10/04/TwAlDXyuQR/반도체_낸드의_계절,_HBF가_불러온_혁신_삼성전자,_SK하이닉스,_한화비전,_HPSP,_ISC,_피에스케이홀딩스.pdf
- https://file.alphasquare.co.kr/media/pdfs/market-report/반도체타오르는20260527현대차증권.pdf
- Token’s tale (첨부 참고자료)