추론이 단말기로 내려온다

2026년 실리콘밸리 칩 로드맵에는 같은 단어가 거듭 등장한다. NPU. 신경망 연산만 전담하는 코어가 모바일 SoC와 PC 칩에 기본으로 들어왔다. Qualcomm, Apple, AMD, Intel은 발표 자료마다 초당 몇십 조 연산을 내세운다.

표면만 보면 또 하나의 스펙 경쟁이다. 더 빠른 칩, 더 똑똑한 폰. 그렇게 읽으면 핵심을 놓친다.

NPU가 강해진다는 건 추론이 데이터센터를 떠난다는 뜻이다. 지금까지 AI 응답은 거의 다 클라우드 서버에서 만들어졌다. 사진을 보정하든 문장을 요약하든, 데이터가 한 번 떠나 누군가의 GPU를 거쳐 돌아왔다.

그 왕복이 사라지는 중이다.

빅테크는 왜 갑자기 추론을 단말기로 내리려 할까. 압력이 둘이다. 하나는 GPU 서버 추론 원가가 사용자 수에 비례해 폭발한다는 것. 다른 하나는 클라우드를 거치는 데이터마다 규제와 소송의 표적이 된다는 것이다.

여기서 구도가 갈린다. OpenAI와 Anthropic은 거대 모델을 클라우드에 두고 API로 파는 쪽이다. Apple과 Qualcomm은 작은 모델을 칩 안에 넣어 데이터가 기기를 떠나지 않게 하는 쪽이다. 같은 AI라는 단어를 쓰지만 장악하려는 레이어가 다르다.

클라우드 진영은 모델이라는 두뇌를 쥔다. 온디바이스 진영은 사용자의 데이터와 접점을 쥔다. 둘 중 누가 표준을 정하느냐에 다음 10년의 과금 구조가 달렸다.

자본은 이미 움직였다. VC 자금은 거대 파운데이션 모델 한 곳에 거는 대신 추론 효율, 모델 경량화, 엣지 배포 스택으로 흩어지고 있다. 같은 성능을 더 싸게, 더 가까이서 돌리는 회사로 돈이 흐른다. 추론 원가가 곧 생존선이라는 계산이다.

이 이야기가 데이터 주권으로 번지는 지점이 바로 여기다. 추론이 단말기에서 끝나면 민감한 데이터는 애초에 국경을 넘지 않는다. 유럽이 규제로 강제하려던 데이터 현지화를 칩이 물리적으로 해결해버리는 셈이다. 클라우드 종속이 풀리는 한편, 데이터가 어느 칩 위에 사느냐가 새로운 권력이 된다.

그렇다면 한국 기업은 이 재편의 어디에 서 있나. 공급자인가, 고객인가, 표준 설계자인가.

삼성전자와 SK하이닉스는 메모리와 파운드리로 이 흐름의 바닥을 깔고 있다. 온디바이스 추론은 고대역폭 메모리와 저전력 D램을 먹는다. 좋은 자리다. 그런데 그건 정확히 공급자의 자리다. 칩과 메모리는 대지만, 그 위에서 도는 모델과 데이터 규격은 미국이 정한다.

반론은 가능하다. 부품 공급도 충분히 큰 사업이고, 표준을 못 잡아도 메모리 점유율이 곧 협상력이라는 시각이다. 맞는 말이다. 다만 공급자의 마진은 늘 표준 설계자가 칼자루를 쥔다. NPU 명령어 체계와 온디바이스 모델 포맷을 미국 칩 회사가 쥐면, 한국은 좋은 부품을 파는 하청의 윗단에 머문다.

부산에서는 이걸 멀리 떨어진 남의 싸움처럼 볼 수도 있다. 그렇지 않다. 부산의 제조업과 물류가 앞으로 깔 산업용 단말, 검사 장비, 차량 단말은 모두 이 온디바이스 추론 칩 위에서 돌게 된다. 그 칩의 규격을 누가 정하느냐가 부산 공장의 다음 원가표를 정한다.

그래서 관망의 비용을 따져봐야 한다. 지금 NPU 발표를 제품 뉴스로 흘려보내면, 3년 뒤 한국은 자국 기기에 들어갈 추론 규격을 미국 칩 회사 로드맵에서 통보받는 처지가 된다. 실리콘밸리의 칩 발표는 남의 이야기가 아니다. 한국 기업이 다음에 치를 원가표의 초안이다. 지금 읽지 않으면, 나중에 청구서로 읽게 된다.