서울대, 거대언어모델 정합성 높이는 신기술 개발…ICML서 상위 2.6% 논문 선정

[더파워 김규용 기자] 서울대학교 공과대학은 전기정보공학부 이정우 교수 연구팀이 챗GPT와 같은 거대언어모델(LLM)에 적용 가능한 새로운 강화학습 기술을 개발했다고 4일 밝혔다. 해당 기술을 다룬 논문은 인공지능 이론 분야 최고 권위 국제학술대회 ‘ICML 2025(International Conference on Machine Learning)’에서 전체 제출작 중 상위 2.6%에 해당하는 ‘스포트라이트(Spotlight)’ 논문으로 선정됐다.

이 교수는 AI 자동학습 플랫폼 기업 ‘호두에이아이(HodooAI)’를 공동 창업한 인물로, 이번 논문은 지난 7월 13일부터 20일까지 캐나다 밴쿠버에서 열린 ICML 2025에서 ‘Policy-labeled Preference Learning: Is Preference Enough for RLHF’라는 제목으로 발표됐다.

이번 연구는 LLM의 인간 정합성(human alignment)을 높이는 핵심 훈련법인 ‘인간 피드백 기반 강화학습(RLHF)’의 한계를 보완하고자 진행됐다. RLHF는 사람의 선호도를 반영한 보상함수를 최대화하는 방식으로 AI를 훈련시키지만, 낮은 품질의 문장들을 억지로 비교하도록 만드는 구조적 문제를 지닌다는 비판이 있어왔다.

이에 연구팀은 RLHF의 보상 구조를 개선한 ‘정책 레이블 기반 선호 학습(PPL)’이라는 새로운 접근을 제안했다. PPL은 선호도 정보를 AI의 생성 능력 수준과 함께 학습에 반영함으로써, 보다 정밀하고 안정적인 정합성 최적화를 가능하게 한다.

서울대는 이번 기술이 LLM의 정합성 학습 성공률을 2배 이상 향상시킬 수 있는 가능성을 열었으며, 향후 호두에이아이의 AI 플랫폼에 핵심 기술로 적용될 계획이라고 밝혔다. 논문의 제1저자인 조태현 연구원은 “이번 기술이 한국의 AI 정합성 연구를 세계적 수준으로 끌어올리는 데 기여하길 기대한다”고 말했다.

이번 논문에는 서울대 전기정보공학부 조태현, 주석훈, 한승엽 연구원이 공저자로 참여했으며, 향후 거대언어모델 정합성 개선 분야에서 학계와 산업계에서 후속 연구를 이어갈 예정이다.

김규용 더파워 기자 neo_dean@thepowernews.co.kr