이미지 확대보기SK쉴더스 사이버보안 관제센터 ‘시큐디움(Secudium)’의 모습 (제공=SK쉴더스)
[더파워 한승호 기자] AI가 질문에 답하는 수준을 넘어 외부 시스템과 연결돼 스스로 판단하고 업무를 수행하면서 보안 위협도 한층 복잡해지고 있다. 외부 문서에 숨겨진 악성 지시를 AI가 정상 명령으로 받아들이거나 기억 영역이 오염돼 이후 판단까지 영향을 받는 공격이 대표적이다.
SK쉴더스는 이 같은 AI 에이전트 시대에 대응하기 위해 화이트해커 조직 EQST(Experts, Qualified Security Team)를 중심으로 ‘AI 레드티밍(AI Red Teaming)’ 역량을 강화하고 있다고 10일 밝혔다.
AI 레드티밍은 실제 공격자가 활용할 수 있는 기법과 시나리오를 적용해 AI 시스템의 취약점과 잠재적인 위험을 사전에 찾아내는 보안 검증 방식이다.
AI 에이전트는 기업 내부 시스템과 데이터베이스, 외부 서비스와 연동해 직접 작업을 수행할 수 있는 만큼 기존 생성형 AI보다 공격 범위도 넓어질 수 있다.
대표적인 위협으로는 외부 웹페이지나 문서에 악성 명령을 숨겨 AI의 행동을 탈취하는 ‘에이전트 하이재킹’, AI의 기억 영역에 악성 정보를 쌓아 이후 판단을 왜곡하는 ‘메모리 오염’ 등이 꼽힌다. 과도한 권한이 부여된 외부 도구를 악용한 정보유출이나 시스템 오남용 위험도 있다.
국내에서는 과학기술정보통신부와 한국인터넷진흥원(KISA)이 최근 ‘AI 보안 레드티밍 가이드’를 발간했다. SK쉴더스 EQST도 가이드 제작에 참여했다.
가이드는 AI 모델만이 아니라 데이터와 애플리케이션, 사용자 인터페이스, AI 에이전트, 외부 연계 시스템, 인프라까지 AI 서비스 전반을 보안 검증 대상으로 제시했다.
점검 대상에는 프롬프트 인젝션과 시스템 프롬프트 유출, 탈옥(Jailbreak), 권한 오남용 등이 포함됐다. AI 에이전트 특화 위협인 에이전트 하이재킹과 에이전트 서비스거부(DoS), 메모리 오염 등에 대해서도 지속적인 점검 필요성을 제시했다.
SK쉴더스는 EQST가 공공기관과 기업을 대상으로 수행해 온 모의해킹 경험을 AI 영역으로 확장하고 있다. 실제 공격 상황을 가정한 AI 레드팀 서비스를 통해 기업의 AI 모델과 데이터, 애플리케이션, 외부 시스템 연계 구간 등을 점검한다.
자체 프레임워크에는 글로벌 AI 보안 가이드라인인 ‘MITRE ATLAS’의 178개 AI Technique과 ‘OWASP Top 10 for LLM’ 등을 반영했다. 여기에 자체 AI 공격 시나리오 데이터베이스와 AI 특화 모의해킹 방법론을 적용해 프롬프트 인젝션, 권한 오남용, 정보유출 가능성 등을 진단한다.
EQST는 최근 글로벌 AI 레드팀 해킹대회 ‘Judgement Day’에서도 최종 1위를 차지했다. 멀티모달 프롬프트 인젝션 기법을 활용해 AI의 의사결정을 교란하는 공격 시나리오를 구현했다.
SK쉴더스 관계자는 "AI가 단순한 업무 지원 도구를 넘어 스스로 판단하고 행동하는 AI 에이전트 형태로 진화하면서 보안과 신뢰성 확보가 기업 경쟁력의 중요한 요소로 자리잡고 있다"며 "AI 레드티밍과 AI 보안 검증 서비스를 통해 기업들이 변화하는 위협에 선제적으로 대응할 수 있도록 지원할 계획"이라고 말했다.
이미지 확대보기
