R-04 · 연구 보고서 · 2026년 10월 31일
할루시네이션 데이터셋 설계 노트 — 무엇을 물어야 AI가 아는 척을 하나
AI가 '아는가'를 묻는 퀴즈로는 실제 서비스의 거짓말을 잡을 수 없습니다. 베리라인은 AI가 아는 척하기 쉬운 상황을 만들고, 가짜를 만들어 내는지 · 틀린 전제를 바로잡는지 · 근거가 부족하면 판단을 미루는지를 잽니다. 자체 데이터셋 4종, 1,800여 문항입니다.
핵심 발견
- 지식 퀴즈형 문항에는 검색하는 AI가 강합니다 — 실제 오류는 시점 · 형제 조문 · 삭제 조항에 몰립니다.
- 맞는 전제를 준 대조군을 함께 두어야 오탐(맞는 답을 망가뜨리는 것)을 잴 수 있습니다.
- 정답은 모두 법제처 원문 문장으로 확정하고, 문항과 정답은 공개하지 않습니다.