AI 추천도 ‘자기복제’…UNIST, LLM 추천 편향·환각 추적 기술 개발
이연창 교수팀, 진단 도구 ‘에코트레이스’ 개발 가게 추천 13.14% 추천 대상에 없는 항목 제시 반복 학습 5차례에도 초기 오류·편향 지속 확인 연구 결과 국제학술대회 ACM CIKM 2026 채택
2026-11-08 심현욱 기자
UNIST 인공지능대학원 이연창 교수팀은 LLM 기반 AI 추천의 편향과 오류가 발생하고 누적되는 과정을 추적하는 진단 도구인 ‘에코트레이스(EchoTrace)’를 개발하고, 추천 시스템 세 종류를 분석해 이 같은 결과를 얻었다고 8일 밝혔다.
LLM은 직접 추천 목록을 만드는 것뿐만 아니라 추천 AI 모델이 더 정확한 추천을 할 수 있도록 사용자의 취향이 반영된 가상 프로필을 생성하거나, 부족한 학습자료를 생성하는 역할을 하고 있다.
에코트레이스는 이 3가지 방식에서 LLM이 만든 정보와 최종 추천 목록을 점검하고, 추천 결과가 다시 학습에 반영될 때 편향과 오류가 어떻게 이어지는지 추적하는 기술이다.
분석 결과, LLM이 추천 목록을 직접 만드는 AI 모델에서는 애초에 추천 대상에 없는 항목을 추천하는 경우가 영화 추천의 4.07%, 도서 추천의 7.40%, 가게 추천의 13.14%를 차지했다. 영화 추천은 ‘무비렌즈(MovieLens-1M)’, 도서 추천은 ‘아마존 북스(Amazon-Books)’, 가게 추천은 ‘옐프(Yelp)’ 자료를 활용해 실험했다.
LLM이 사용자 프로필을 생성하는 데도 오류가 확인됐다. 영화 이용 자료로 LLM이 추정한 사용자의 직업은 93.16%가 원래 정보와 일치하지 않았으며, 자료의 직업 분류에 없는 ‘영화 평론가’도 생성됐다. LLM이 모델의 학습 자료를 생성하는 경우에도 특정 장르나 업종에 치우쳤다.
최종 추천에서는 실제 이용 기록보다 인기 항목을 더 많이 추천하는 경향이 나타났다.
최종 추천 결과를 다시 학습시키는 과정을 5번 반복했을 때도 초기의 편향과 오류가 사라지지 않았다. 일부 시스템에서는 인기 항목으로의 쏠림이 더 커졌다. 특히 LLM이 직접 영화를 추천하는 모델은 사용자 100명 중 86~92명꼴로 다음 영화를 골라줄 때 자신이 앞서 추천했던 작품을 가장 중요하게 참고하는 것으로 나타났다. AI의 추천 결과가 사용자의 선택 기록으로 다시 학습되고, 그 기록을 근거로 다음 추천을 만드는 ‘피드백 루프’가 반복되면서 처음 생긴 편향과 오류가 이후 추천에도 영향을 주는 것이다.
연구진은 주요 데이터마이닝·정보검색 학회에 발표된 연구 116편을 분석해 LLM의 역할을 다섯 가지로 분류하고, 역할별로 생성되는 정보와 추천 결과를 단계별로 점검하도록 에코트레이스를 개발했다. 이번 실험에서는 3가지 역할에 대해 정보 생성, 추천 결과, 반복 학습의 3단계에서 편향과 오류가 어떻게 발생하고 이어지는지 검증했다.
이연창 교수는 “이번 연구는 LLM 기반 추천 시스템의 편향과 환각이 반복적인 추천 과정에서 어떻게 누적되고 증폭되는지를 LLM의 역할에 따라 체계적으로 진단할 수 있는 기반을 마련했다”며 “향후 더욱 안전하고 신뢰할 수 있는 추천 시스템을 설계하고 평가하는 데 활용될 수 있을 것”이라고 말했다.
이번 연구에는 UNIST 인공지능대학원 박동욱 연구원이 제1저자로 참여했으며, 미국 펜실베이니아주립대학교 이동원 교수와 공동으로 연구를 수행했다.
연구 결과는 데이터마이닝 분야 최우수 국제학술대회 ACM CIKM(Conference on Information and Knowledge Management) 2026에 채택됐으며, 학회는 오는 지난 7일에 시작해 11일까지 이탈리아 로마에서 열린다.
연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 AI스타펠로우십, 인공지능대학원, 생성AI선도인재양성, 지역지능화혁신인재양성 사업, InnoCORE 프로그램과 미국 국립과학재단(NSF)의 지원을 받아 수행됐다.