샌디스크, NAND를 AI 칩 아래 적층 HBF 제안

AI 반도체 시장이 빠르게 성장하면서 메모리 병목 현상이 새로운 과제로 떠오르고 있다. 샌디스크는 이를 해결하기 위한 방안으로 NAND 플래시를 AI 가속기와 직접 결합하는 새로운 패키징 기술을 제안했다.

현재 AI 가속기 시장은 HBM(High Bandwidth Memory)을 중심으로 발전하고 있다. HBM은 높은 대역폭을 제공하지만 용량과 공급 측면에서 한계를 안고 있다. 최근 AI 반도체 수요 급증으로 HBM 공급 부족 현상이 심화되면서 메모리 업계는 새로운 대안을 찾고 있다.

HBM은 GPU 또는 AI 가속기 주변에 적층되는 패키징 방식을 사용한다. 데이터 접근 속도는 빠르지만 용량 확장이 쉽지 않고 생산 비용도 높다. 현재 HBM은 스택당 32GB~64GB 수준의 용량을 제공하고 있지만 AI 모델 규모가 커지면서 더 높은 메모리 용량이 요구되고 있다.

반면 NAND 플래시는 상대적으로 저렴한 비용으로 대용량 구성이 가능하지만 전송 속도는 DRAM보다 낮다. 이 때문에 지금까지는 저장장치 역할에 주로 활용됐다.

샌디스크는 이러한 한계를 보완하기 위해 HBF(High Bandwidth Flash) 기술을 제안했다. HBF는 HBM과 유사한 메모리 적층 기술을 적용해 여러 개의 NAND 플래시를 TSV(Through Silicon Via)로 연결하는 방식이다. 회사는 장기적으로 HBF가 스택당 최대 4TB 용량까지 확장될 수 있다고 설명한다.

최근 공개된 미국 특허(US 12,430,274 B2)는 여기서 한 단계 더 나아간다.

특허 내용에 따르면 AI 가속기 또는 GPU 아래에 NAND 플래시 메모리 타일을 직접 적층하는 패키징 기술이 제시됐다. NAND 플래시는 CBA(CMOS Bonded Array) 기술을 활용해 하나의 대형 메모리 타일로 구성되며, 연산 칩과 함께 인터포저 위에 배치된다.

HBM 역시 함께 사용된다.

HBM은 연산 과정에서 즉시 처리해야 하는 데이터를 담당하고, NAND 플래시는 대용량 데이터 저장과 읽기·쓰기 작업을 담당하는 방식이다. 이를 통해 HBM 용량 부족 문제를 보완하면서 대규모 AI 데이터셋을 보다 효율적으로 처리할 수 있다는 것이 샌디스크의 설명이다.

업계에서는 이러한 기술이 실현될 경우 AI 반도체 설계 방향에 적지 않은 변화를 가져올 수 있을 것으로 보고 있다. NAND 플래시를 단순 저장장치가 아닌 AI 메모리 계층의 일부로 활용하는 개념이기 때문이다.

다만 상용화까지는 해결해야 할 과제가 많다.

NAND와 HBM, GPU를 하나의 패키지에 실장할 경우 소비전력과 발열, 생산 비용, 수율 문제 등을 모두 해결해야 한다. 현재 단계에서는 실제 제품이 아닌 특허 기반 기술에 가깝다.

업계에서는 HBM 공급 부족이 장기화될 경우 NAND 기반 메모리 확장 기술에 대한 관심이 더욱 높아질 것으로 보고 있다. AI 반도체 성능 경쟁이 치열해지는 상황에서 메모리 병목을 해소하는 기술이 차세대 AI 칩 경쟁력을 좌우할 핵심 요소로 부상하고 있기 때문이다.