뉴렐릭, 엔비디아 NIM과 옵저버빌리티 플랫폼 통합 발표

2024-06-26 김현동

뉴렐릭은 기업 고객이 생성형 AI 애플리케이션 개발, 배포 및 모니터링 과정의 복잡성을 완화하고 비용을 절감할 수 있도록 뉴렐릭 플랫폼을 엔비디아 NIM 추론 마이크로서비스와 통합했다고 발표했다. 이는 설정을 간소화하고 데이터 보안을 보장하며, 생성형 AI 애플리케이션 제작을 가속화한다.

기업은 디지털 경험 향상, 생산성 증대 및 수익성 개선을 위해 생성형 AI를 빠르게 도입하고 있다. 가트너에 따르면, 2026년까지 80% 이상의 기업이 생성형 AI를 이용하거나 생성형 AI 애플리케이션을 배포할 것으로 예상된다.

기업이 시장에서 우위를 점하기 위해서는 빠른 배포 및 ROI 실현이 매우 중요하며, 이를 가능케 하는 핵심 요소는 옵저버빌리티다. 옵저버빌리티 기술은 서비스, 인프라 및 AI 레이어 전반에 걸쳐 AI 애플리케이션 스택에 대한 전체적인 정보를 실시간으로 제공하여 효율적이고 안정적이며 비용 효과적인 운영을 지원한다.

뉴렐릭 CEO 아샨 윌리는 “오늘날과 같이 경쟁이 치열한 시장에서 기업은 AI 기술의 ROI를 달성하기 위해 몇 년 동안이나 기다릴 여력이 없다. 옵저버빌리티는 AI 스택 전반에 걸쳐 가시성을 제공함으로써 이러한 문제를 해결한다.

엔비디아 AI 소프트웨어 부문 디렉터 아만다 손더스는 "기업들이 경쟁적으로 생성형 AI를 도입하고 있는 가운데, 엔비디아 NIM은 기업들이 프로덕션 환경에 애플리케이션을 신속하게 배포할 수 있도록 지원한다. 뉴렐릭과 엔비디아 NIM의 통합을 통해 IT 및 개발 팀은 운영 인사이트를 민첩하게 관찰하고 이에 대응함으로써 AI 애플리케이션을 최적화할 수 있다"고 말했다.

AI 애플리케이션은 기술 스택 관리를 더 어렵게 만들고, 보안 문제를 증가시키며, 막대한 비용을 초래할 수 있다. 뉴렐릭 AI 모니터링은 데이터 프라이버시를 보장하면서 처리량, 레이턴시, 비용에 대한 주요 메트릭과 함께 AI 스택에 대한 통합적인 가시성을 제공한다.

또한 서비스 및 모델 전반의 요청 흐름을 추적해 AI 애플리케이션의 내부 작동 상황을 이해할 수 있다. 뉴렐릭은 다양한 AI 모델을 지원하며 엔비디아 NIM에 대해 심층적인 모니터링을 확대하여 제공한다. 이를 통해 기업은 엔비디아 NIM으로 구축된 AI 애플리케이션을 효과적으로 배포하고, 시장 출시 시간을 단축하며, ROI를 개선할 수 있다.