대만 AI 소프트웨어·하드웨어 기업 스카이미저가 온프레미스 AI 추론을 겨냥한 PCIe AI 가속기 HTX301을 공개했다. 제품은 단일 PCIe 카드에서 최대 700B 파라미터급 대형 언어 모델 추론을 지원하도록 설계됐으며, 전력 소비는 약 240W 수준으로 제시됐다.
Skymizer unveiled the HTX301 PCIe AI accelerator for on-prem AI inference, supporting up to 700B-parameter LLMs on a single 384GB card with around 240W power consumption.
HTX301은 스카이미저의 HyperThought 플랫폼과 차세대 LPU IP를 기반으로 한 첫 추론용 칩이다. 대형 언어 모델 실행에 필요한 디코드 가속, 프리필과 디코드 작업의 통합 오케스트레이션, 전력 효율을 중심으로 설계됐다.
카드는 일반적인 PCIe 애드인 카드 형태다. 하나의 보드에는 6개의 HTX301 칩이 탑재되며, 최대 384GB 메모리를 제공한다. 메모리는 HBM이나 GDDR 계열이 아닌 표준 LPDDR4 및 LPDDR5 DRAM을 사용한다. 이는 고가의 고대역폭 메모리 대신 대용량 저전력 메모리와 압축 기술을 조합해 온프레미스 추론 비용을 낮추기 위한 구조로 해석된다.
공정은 28나노 기반이다. 최신 미세 공정은 아니지만, 스카이미저는 HTX301이 100GB/s 대역폭과 0.5TOPS 수준의 연산 조건에서 30토큰/초 성능을 달성한다고 설명했다. 옥타코어 LPU 구성에서는 Llama2 7B 프리필 기준 240토큰/초를 구현하며, 여러 칩을 연결하면 같은 모델에서 최대 1,200토큰/초까지 확장할 수 있다고 밝혔다.
핵심은 초대형 모델을 단일 카드에서 로컬로 실행하는 데 있다. 스카이미저는 HTX301이 700B 파라미터급 모델 추론을 단일 PCIe 카드에서 처리할 수 있다고 강조했다. 이를 통해 기업은 대규모 GPU 클러스터나 클라우드 인프라에 의존하지 않고도 자체 서버 안에서 AI 추론 환경을 구축할 수 있다.
전력 효율도 주요 특징이다. HTX301 카드의 전력 소비는 약 240W로, 600W급 PCIe AI 가속기로 분류되는 엔비디아 RTX PRO 6000 Blackwell이나 AMD Instinct MI350P보다 낮은 수준이다. 온프레미스 환경에서 전력, 냉각, 랙 밀도 부담을 줄이는 데 초점을 맞춘 구성이다.
스카이미저는 메모리 효율을 높이기 위해 압축 기술도 적용했다. 장기 메모리에 해당하는 가중치 압축은 오픈소스 llama.cpp 대비 9~17.8% 높은 효율을 제공한다고 설명했다. 단기 메모리 역할을 하는 KV 캐시 압축은 퍼플렉시티 손실을 0.06~3.52% 수준으로 억제하는 것을 목표로 한다.
HTX301은 데이터 주권, 예측 가능한 지연시간, 고정형 인프라 비용을 중시하는 기업을 겨냥한다. 클라우드 기반 추론 비용이나 외부 데이터 전송 부담을 줄이고, 사내 서버에서 에이전트형 AI, 코딩 자동화, 업무 자동화, 도메인 특화 워크플로를 실행하려는 수요에 대응하는 제품이다.
스카이미저는 컴퓨텍스에서 HTX301을 선보일 예정이다. 단일 카드로 700B급 LLM을 구동한다는 주장은 실제 시연과 벤치마크 검증이 필요하지만, 사양만 놓고 보면 중소 규모 기업과 온프레미스 AI 구축 수요를 겨냥한 저전력 대용량 추론 가속기라는 점에서 주목된다.
