[중앙뉴스= 신현지 기자] 생성형 AI 보안 기술 스타트업 에임인텔리전스가 케이티(KT)와  ‘AI 기반 모델의 Security&Safety 검증 체계 기술 공동연구 및 위협 대응 기술 구축을 위한 업무 협약(MOU)’ 을 체결했다고 3일 밝혔다.

양 사는 이번 협약식을 통해 생성형 AI 기반 모델의 Security&Safety 검증 체계 기술 공동연구, 식별된 취약성을 해소할 수 있는 모델 방어 및 강화 기술을 개발, 사이버보안 위협에 대응하고 안전한 생성형 AI 모델 보급 추진 등의 분야에서 상호 협력하기로 합의했다.

에임인텔리전스는 안전한 생성형 AI 모델 보급 추진을 위해 생성형 AI Safety 진단(레드티밍)을 제공하고, 취약점 자동 탐지 및 차단·방어 기술(가드레일) 을 접목할 계획이다.

생성형 AI 레드팀은 통제된 환경에서 적대적 방법을 사용하여 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등 결함‧취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다. 오픈AI, 구글, 네이버클라우드 등 국내‧외 AI 기업도 자체 AI 레드팀을 구성‧운영하는 등 AI 기업이 AI 안전‧신뢰성을 확보할 수 있는 핵심적인 방법으로 주목받고 있다.

이번 협을 통해 양사는 향후 생성형 AI 안전성 및 보안을 위한 다양한 활동을 전개한다. 에임인텔리전스와 KT 레드팀 상호 간 협업을 통해 생성형 AI모델의 안전성 평가 기준인 벤치마크를 공동 개발할 예정이다.

황태선 KT 정보보호 최고 책임자는 “이번 에임인텔리전스와의 업무협약을 통해 생성형 AI 상용화를 위한 안전성을 공고히 할 수 있었다. 안전한 생성형 AI 모델 보급을 위해 양사 협력에 최선을 다할 것.”이라고 말했다.
 
유상윤 에임인텔리전스 대표는 “생성형 AI 상용화에 가장 큰 병목은 안전성 및 보안이다. 누구나 믿고 사용할 수 있는 안전한 생성형 AI 서비스를 제공할 수 있도록 케이티와 함께 노력하겠다.”라고 말했다.

한편, 에임인텔리전스 레드팀은 지난 4월 과학기술정보통신부와 한국정보통신기술협회가 주최한‘생성형 인공지능 레드팀 챌린지’수상자로 선정된 바 있다.