R-03 · 연구 보고서 · 2026년 10월 31일
검색을 붙여도 남는 환각 — 법령 원문 검색(RAG) AI 블라인드 시험
AI에 법령 원문 검색을 붙이면 할루시네이션이 사라질까요? 처음 보는 법령으로 만든 함정 문항으로 블라인드 시험을 했습니다. 검색을 붙인 최상위 AI도 4.7%를 틀렸습니다. 그리고 실제 서비스가 틀리는 이유는 모델보다 색인 · 검색 단계에 있었습니다.
핵심 발견
- 법령 원문 검색을 붙인 최상위 AI도 처음 보는 함정 문항 128개 중 4.7%를 틀렸습니다.
- 최신 모델이 현행 조문을 직접 읽으면 함정에 강합니다 — 실제 서비스의 오답은 옛 색인 · 신설 조문 누락 · 형제 조문 혼동에서 나옵니다.
- '검색을 붙였으니 안전하다'는 말은 색인이 최신일 때만 맞습니다.