인공지능(AI) 모델의 안전성을 확보하기 위한 방안으로 설명 가능성, 데이터 품질관리, 강건성 테스트가 제시됐다.

사람이 AI 의사결정 과정을 이해할 수 있도록 설계해 설명 가능성을 확보하고, 공정하고 신뢰할 수 있는 데이터 사용으로 데이터 품질관리를 해야 한다는 의미다. 또 AI가 예상치 못한 상황에서도 안정적으로 작동하도록 검증하는 강건성 테스트 실행이 제안됐다.

윤용익 숙명여대 인공지능학부 교수가 지난 29일 서울 용산구 숙명여대에서 열린 '2025 KAITIA 워크숍' 콘퍼런스에서 AI 안전성 확보방안에 대해 설명하고 있다.

지난 29일 열린 한국인공지능기술산업협회(KAITIA) '2025 KAITIA 워크숍' 콘퍼런스에서 윤용익 숙명여대 인공지능학부 교수(KAITIA 수석부회장)는 “AI가 의도된 목적에 부합하고 사회적으로 해를 유발하지 않게 작동하도록 보장하는 게 중요하다”며 이같이 밝혔다.

특히 데이터를 수집·분석·학습하거나 AI를 활용할 때, 사용자와 AI 시스템 간 상호작용 과정, AI 그 자체에도 위험 요소가 상존한다는 가능성을 고려해 책임감 있는 AI를 개발해야 한다고 강조했다.

윤 교수는 “AI 신뢰성 확보는 물론, AI 시스템을 인간이 의도한 목표나 선호도 또는 윤리에 맞게 조정하는 정렬성과 책임성을 향상해 안전성을 달성해야 한다”며 “안전성 확보 조치가 AI 모델 개발·고도화 단계에서 이뤄지고 있지만 모니터링 과정에서 미흡한 만큼 투명성 확보가 시급하다”고 지적했다.

이어 공정한 알고리즘 사용과 적대적 공격 방어기법 활용, 모니터링과 AI 거버넌스 시스템 구축을 통한 안전한 AI 기술 구현을 당부했다. 데이터 수집, AI 모델 계획·설계와 구축, 확인·검증, 배포·사용, 운영·모니터링 등 AI 모델과 서비스를 제공하는 전체 과정에서 AI 안전성을 확보해야 한다는 것이다.

이날 콘퍼런스에서는 롯데이노베이트의 비즈니스 생성형 AI 플랫폼 '아이멤버'를 활용한 업무 생산성 향상 사례도 공유됐다. 아이멤버는 전체 업무 영역에서 생성형 AI 활용을 지원하는 서비스형 소프트웨어(SaaS)다. 보안 거버넌스를 준수, 각사별·개인별 데이터가 보호되는 AI 서비스 제공이 특징이다.

오현식 롯데이노베이트 인공지능테크랩 실장은 “AI 시대 기업 경쟁력 강화를 위해 AI 전략이 중요하다”며 “롯데이노베이트는 정확한 컨설팅에 기반한 내재화된 AI 기술과 내부 리소스의 효율적 배분을 바탕로 고객사 생산성을 향상시키고 비용 절감은 물론, 비즈니스 모델을 혁신하고 있다”고 설명했다.

롯데이노베이트는 건설사 생성형 AI 프리미엄 챗봇 구축, 유통사 AI 품질 판별 솔루션, 물류사 비전 AI 기반 화물 크기 측정, 고객센터 음성봇과 가이드봇 등 롯데그룹사를 중심으로 다양한 레퍼런스를 확보하고 있다. 오 실장은 “올해 아이멤버를 고도화하고 본격적인 대외 사업을 추진할 것”이라고 전했다.

이원찬 한국인공지능기술산업협회장이 워크숍에 앞서 인사말을 하고 있다.

이외에도 AI 로봇, AI 기반 디지털 트윈, AI 특허 동향, 생성형 AI 기반 안전코드 기술, 제조 현장에 접목한 AI 등 다양한 주제발표가 이뤄졌다.

이원찬 KAITIA 회장은 “협회는 AI 기술 융합 아이디어를 제공하고 활발한 연구로 혁신 아이디어가 촉발돼 AI 기술산업 발전을 이끌 것”이라며 “AI 거버넌스 확립 등 국가 AI 전략과 정책 제언을 지속하고 사회적 가치와 윤리적 측면을 고려한 AI 개발이 이뤄지도록 앞장서겠다”고 밝혔다.

박종진 기자 truth@etnews.com

Copyright © 전자신문. 무단전재 및 재배포 금지.