R-06 · 연구 보고서 · 2026년 10월 31일
대화 속에서 무너지는 상담 AI — 정확도 점수에 숨는 두 가지 실패
할루시네이션은 지어내는 것만이 아닙니다. 한 번 묻고 채점하는 시험에서는 보이지 않다가, 대화가 이어질 때 드러나는 실패가 있습니다. 리머는 이 두 가지를 따로 잽니다.
핵심 발견
- 정확도 점수가 높은 AI도 대화가 이어지면 맞는 답을 버리거나 답을 피하는 경우가 있었습니다.
- 두 실패는 '틀린 답'으로 세지 않는 경우가 많아 정확도 점수에 숨습니다.
- 베리라인 감사 보고서는 이 두 가지를 따로 셉니다.