OCP 글로벌 서밋 2026서 메모리 중심 AI 랙 시스템 ‘MARS’ 공개
2세대 CMM-DDR5, 이전 세대보다 대역폭 2배 이상·에너지 효율 30% 개선
여러 서버가 하나의 메모리 풀 공유해 AI KV 캐시 재사용·데이터 이동 효율화
CMM-Ax·HBF까지 확장…AI 추론 시대 겨냥한 차세대 메모리 체계 제시
[더파워 한승호 기자] AI 연산량이 빠르게 늘면서 GPU와 CPU의 처리 성능뿐 아니라 데이터를 얼마나 빠르게 옮기고 다시 활용할 수 있느냐가 새로운 병목으로 떠오르고 있다. SK하이닉스는 개별 서버에 메모리를 묶어두는 기존 구조에서 벗어나 여러 서버와 GPU가 메모리를 공유하고, 일부 연산까지 메모리 내부에서 처리하는 방식으로 AI 인프라의 구조 자체를 바꾸겠다는 구상을 내놨다.
SK하이닉스는 16일 뉴스룸을 통해 지난 12일부터 15일까지 미국 캘리포니아 새너제이에서 열린 ‘OCP 글로벌 서밋 2026’에 참가해 CXL 기반 메모리와 메모리 중심 AI 랙 시스템, 연산형 메모리, HBF 등 차세대 AI 인프라용 메모리 기술을 공개했다고 밝혔다.
가장 눈에 띄는 제품은 CXL 3.2 기반 2세대 ‘CMM-DDR5’다. 용량은 256GB로, 이전 세대보다 대역폭을 2배 이상 높여 80GB/s 수준으로 끌어올렸으며 에너지 효율도 약 30% 개선했다. 여러 서버가 하나의 메모리 풀을 필요한 만큼 나눠 쓰는 CXL Pooled 기능을 적용해 데이터가 집중되는 AI 워크로드의 메모리 활용도를 높이는 데 초점을 맞췄다.
CXL은 CPU와 GPU, 메모리를 고속으로 연결해 메모리 자원을 보다 유연하게 공유할 수 있도록 하는 인터페이스다. 기존에는 각각의 서버가 확보한 메모리를 개별적으로 사용했다면, CXL 기반 구조에서는 여러 서버가 필요에 따라 공용 메모리 자원을 활용할 수 있어 특정 서버에 메모리가 남고 다른 서버에서는 부족해지는 비효율을 줄일 수 있다.
SK하이닉스는 지난해 9월부터 네이버클라우드와 CXL 기반 AI 메모리 활용을 공동 검증해왔다. 이번 행사에서는 에이전틱 AI 환경에서 반복적으로 사용되는 KV 캐시를 공유하거나 옴니모달 서비스에서 임베딩 데이터를 공유하는 방식을 실제 고객 시스템과 워크로드를 기반으로 PoC 수준에서 검증한 결과를 공개했다.
이 같은 기술을 개별 메모리 제품이 아닌 랙 단위 시스템으로 확장한 것이 ‘MARS(Memory Centric AI Rack System)’다. CPU와 GPU를 중심으로 메모리를 붙이는 기존 방식과 달리 메모리를 공용 자원으로 두고 여러 파트너사의 시스템을 연결해 데이터 이동과 메모리 활용 효율을 높이는 구조다.
SK하이닉스는 아씨, 리퀴드, 마벨 등과 함께 CXL 풀드 메모리를 이용해 여러 서버와 GPU 사이에서 KV 캐시를 전달하고 재사용하는 시스템을 시연했다. 회사 측은 네트워크를 통해 KV 캐시를 주고받는 기존 방식보다 풀드 메모리를 활용했을 때 데이터 활용 효율과 시스템 성능을 높일 수 있음을 확인했다고 설명했다.
AMD와 펭귄, 엑시나, 아씨와 진행한 데모에서는 CXL 메모리와 CXL 하이브리드 메모리를 결합했다. 대규모 KV 캐시는 SSD에 저장하고, 곧 필요할 데이터를 미리 D램으로 가져오는 구조를 통해 대용량 저장공간과 빠른 데이터 접근을 동시에 확보하는 방식이다.
퍼스널 AI 에이전트 분야에서도 메모리 공유 구조를 적용했다. SK하이닉스는 피클과 함께 여러 AI 모델 사이에서 데이터를 전달하는 과정을 풀드 메모리 기반 스트리밍 방식으로 처리해 서비스 응답 지연을 줄일 수 있는 가능성을 시연했다.
메모리 안에서 일부 연산까지 처리하는 ‘CMM-Ax’도 공개했다. 데이터를 GPU나 CPU로 계속 옮기지 않고 메모리 내부에서 직접 연산하는 방식으로, 데이터 이동에 들어가는 전력과 시스템 비용을 줄이는 것이 목표다. 이번 행사에서는 긴 문맥을 처리하는 LLM 추론 환경에서 CMM-Ax를 활용하는 ‘Efficient Long Context LLM Serving’ 데모를 선보였다.
해당 기술을 활용한 연구는 컴퓨터 아키텍처 분야 학회 ‘MICRO 2026’에 채택됐다. SK하이닉스는 차등 개인정보보호가 적용된 AI 학습 과정에서도 연산 기능을 가진 메모리를 이용해 추가 연산과 데이터 이동 부담을 줄이는 시스템 구조를 함께 소개했다.
메모리 계층 자체도 HBM 중심에서 확대되고 있다. SK하이닉스는 HBM4E와 HBM4, HBM3를 비롯해 256GB 3DS RDIMM, 192GB SOCAMM2, 기업용 SSD 등 AI 인프라용 제품을 전시하고, 서로 다른 메모리와 스토리지를 워크로드 특성에 따라 조합하는 방향을 제시했다.
특히 HBF(High Bandwidth Flash)는 낸드 기반 스토리지의 대용량 특성과 HBM에서 사용하는 TSV 기술을 결합해 대역폭을 높인 차세대 메모리 설루션이다. 빠른 응답이 중요한 환경에서는 HBM을 활용하고, 다수 사용자의 대규모 데이터를 처리해야 하는 AI 추론 환경에서는 HBF를 활용하는 식으로 메모리 계층을 세분화한다는 구상이다.
SK하이닉스는 이번 행사에서 차세대 AI 인프라의 경쟁력이 단순히 GPU 연산 성능에만 달린 것이 아니라 데이터 이동과 저장, 재사용을 얼마나 효율적으로 처리하느냐에 달려 있다는 점을 강조했다. HBM과 서버 D램, CXL 메모리, HBF, SSD를 개별 제품으로 공급하는 데서 나아가 AI 워크로드에 맞춰 메모리 전체를 하나의 시스템으로 설계하겠다는 전략이다.
김호식 SK하이닉스 부사장은 생성형 AI와 하이퍼스케일 데이터센터 확대 과정에서 기존 CPU·GPU 중심 아키텍처가 ‘메모리 월’과 전력 소비 증가에 직면하고 있다고 진단했다. 그는 MARS에 대해 "차세대 CXL 기술로 CPU와 GPU를 연결하는 랙 단위 메모리 풀링과 동적 제로카피 데이터 공유를 구현한 시스템"이라며 고부하 워크로드의 데이터 이동 효율을 높일 수 있다고 설명했다.
SK하이닉스는 "이번 OCP 글로벌 서밋에서는 차세대 메모리 설루션이 실제 시스템에서 어떻게 작동하는지 직접 보여줄 수 있어 의미가 컸다"며 "앞으로도 메모리를 중심으로 AI 기술이 발전할 수 있도록 기술 혁신을 지속하겠다"고 밝혔다.
한승호 더파워 기자 hansh1975@thepowernews.co.kr
이미지 확대보기
