구글, 차세대 TPU에 SRAM 직접 집적… CoWoS 없이 제미니 전용으로 검토

구글이 차세대 AI 반도체에서 TSMC의 CoWoS(Chip-on-Wafer-on-Substrate) 첨단 패키징을 사용하지 않는 새로운 구조를 검토 중인 것으로 알려졌다. 메모리를 칩 내부에 직접 집적하는 방식으로 AI 모델에 최적화된 전용 TPU(Tensor Processing Unit)를 개발해 성능과 전력 효율을 동시에 높이겠다는 전략이다.

모건스탠리에 따르면 구글은 '프로즌 V2(Frozen V2)'라는 코드명의 차세대 TPU를 개발하고 있다. 구글의 생성형 AI 모델인 제미니(Gemini) 전용으로 설계되며, 외부 메모리 대신 대용량 SRAM을 칩 내부에 직접 배치하게 된다. 기존 고성능 AI 가속기는 GPU와 HBM(High Bandwidth Memory)을 CoWoS 같은 첨단 패키징 기술로 연결한다. 반면 프로즌 V2는 필요한 메모리를 실리콘 위에 직접 구현해 별도의 첨단 패키징 의존도를 줄이는 것이 핵심이다.

AI 연산에서는 메모리와 연산 유닛 간 데이터 이동이 전체 성능과 전력 효율을 좌우한다.

SRAM을 칩 내부에 직접 배치하면 메모리 접근 지연(Latency)을 크게 줄일 수 있고, 데이터 이동 과정에서 발생하는 전력 소모도 감소한다. 제미니처럼 특정 AI 모델만 실행하는 환경에서는 필요한 신경망 구조와 메모리 구성을 미리 최적화할 수 있어 일반적인 GPU보다 높은 효율을 기대할 수 있다.

구글은 이같은 방식으로 CoWoS 패키징 병목도 줄일 수 있을 것으로 내다봤다. 현재 엔비디아 AI GPU는 CoWoS 생산능력이 전체 공급량을 결정하는 핵심 병목으로 지적되고 있다. 칩 자체에서 메모리 구조를 해결할 수 있다면 첨단 패키징 생산능력에 대한 의존도를 낮출 수 있다는 장점이 있다.

다만 범용성이 떨어진다는 한계가 지적된다. AI 모델이 크게 변경되면 칩 자체를 다시 설계해야 하기 때문이다. 모델 구조가 바뀌더라도 소프트웨어만 업데이트하면 되는 GPU와 달리, 전용 AI 칩은 새로운 모델에 맞춰 실리콘 설계를 다시 진행해야 한다. 생산 과정에서도 새로운 마스크 제작과 공정 최적화가 필요해 개발 비용과 시간이 증가할 수 있다.

이와 유사한 접근은 AI 반도체 스타트업 탈라스(Taalas)도 발표한 바 있다.

탈라스는 신경망 가중치 자체를 실리콘에 고정(Hardwire)하는 방식을 적용해 메모리 병목을 줄이는 AI 칩을 공개했으며, 구글 역시 특정 AI 모델 전용 하드웨어라는 점에서 비슷한 형태로 추정된다. 

모건스탠리는 프로즌 V2가 2027년부터 초기 생산에 들어가고 2028년부터 본격 양산될 것으로 전망했다. 또한 네트워크 반도체 기업 마벨(Marvell)이 개발 파트너 가운데 하나가 될 가능성을 제기했지만, 구글은 관련 내용에 별다른 반응을 내놓지 않고 있다. 

시장에서는 AI 반도체가 범용 GPU 중심에서 특정 모델에 최적화된 ASIC(Application-Specific Integrated Circuit) 중심으로 점차 확대됨을 예의주시하고 있다. 엔비디아가 범용 AI GPU 시장을 주도하는 가운데 구글과 아마존, 메타 등 대형 클라우드 기업들은 자체 AI 모델에 최적화된 전용 칩 개발을 확대하고 있다. 특히 AI 모델 규모가 계속 커지면서 연산 성능보다 메모리 구조와 데이터 이동 효율이 성능을 좌우하는 핵심 요소로 떠오르고 있어, 칩 설계 방식도 이에 맞춰 빠르게 변화할 전망이다.