엔비디아 이어 차세대 AI 메모리 경쟁 본격화
AI 연산 경쟁이 ‘연산 유닛’에서 ‘메모리 구조’로 확장되는 가운데, SOCAMM을 둘러싼 주도권 경쟁도 본격화되고 있다. 엔비디아가 먼저 도입한 SOCAMM 메모리 기술도 경쟁사 시야에 들어간 것. 보고서에 따르면 AMD와 퀄컴 역시 차세대 AI 제품에 SOCAMM 메모리 적용을 검토 중인 것으로 알려졌다. 에이전틱 AI 환경이 확산되면서 메모리가 새로운 병목 지점으로 떠오른 것이 배경이다.
SOCAMM은 기존 LPDDR 기반 메모리에서 파생된 표준으로, 모바일 및 저전력 기기에서 주로 사용되던 DRAM 특성을 유지하면서도 ‘업그레이드 가능’하다는 점이 핵심이다. HBM이나 LPDDR5X처럼 메인보드에 납땜되는 방식이 아니라, 모듈 형태로 교체가 가능해 확장성과 유연성이 높다. 이 때문에 HBM과 병행해 메모리 집약적인 작업을 처리하는 보조 메모리로 주목받고 있다.
경제지 한경 보도에 따르면, 엔비디아뿐 아니라 AMD와 퀄컴도 향후 AI 랙 및 서버 제품에 SOCAMM 모듈을 통합하는 방안을 검토 중이다. 특히 두 회사는 엔비디아와는 다른 설계 접근을 고민하고 있는 것으로 전해진다.
AMD와 퀄컴이 검토 중인 방식은 두 개의 DRAM을 두 줄로 배치한 ‘정사각형’ 형태의 SOCAMM 모듈이다. 핵심은 전력 관리 IC(PMIC)를 메모리 모듈 자체에 직접 탑재하는 것. 이렇게 되면 전력 제어가 모듈 단위에서 이뤄져, 고속 동작 시에도 보다 안정적인 전압 조절이 가능해진다. 동시에 메인보드에서 별도의 전력 회로를 줄일 수 있어 설계 복잡성과 비용도 낮출 수 있다.
SOCAMM 채택도 확산될 경우, 수요가 급격히 증가할 가능성이 있다. 에이전틱 AI 환경에서는 HBM만으로는 부족한 ‘단기 메모리 풀’이 필수적인데, SOCAMM은 CPU 하나당 테라바이트 단위의 메모리를 구성할 수 있어 수백만 토큰을 동시에 활성 상태로 유지할 수 있다. HBM 대비 대역폭은 낮지만, 전력 효율과 용량 측면에서 현실적인 대안으로 평가받는다.
현재 엔비디아는 차세대 베라 루빈(Vera Rubin) AI 클러스터에 SOCAMM 2를 도입할 계획이다. AMD와 퀄컴 역시 흐름에 합류할 경우, SOCAMM은 특정 기업 전용 기술이 아닌 차세대 AI 인프라의 표준 메모리 옵션 중 하나로 자리 잡을 가능성이 높다.
