AI 할루시네이션(환각)은 무작위로 생기지 않습니다. 베리라인은 서비스 중인 노무 · 세무 · 법률 상담 AI에 직접 묻고, 틀린 답을 유형별로 모으고, AI가 실제로 틀린 문항으로 데이터셋을 만듭니다. 이 페이지는 그 연구의 요약입니다.
최신 범용 AI가 법령 함정 질문에서 틀린 비율
베리라인 자체 시험 · 2026.10법령 원문 검색을 붙인 최상위 AI도 남긴 오답
베리라인 블라인드 시험 · 2026.10해외 상용 법률 AI 도구의 할루시네이션 비율
Stanford RegLab · HAI, 2024리머의 연구에 따르면 법률 할루시네이션이 생기는 원인은 크게 8가지입니다. 그중 두 가지는 이렇습니다.
바뀐 숫자 · 기간 · 금액을 옛 기준 그대로 말합니다. 학습 시점 뒤에 법이 바뀌었거나, 검색 색인이 옛 문서를 들고 있을 때 생깁니다.
없는 조문 · 판례 · 고시를 그럴듯한 번호로 만들어 냅니다. 'AI 거짓말'로 가장 많이 알려진 유형입니다.
파트너 전용 — 유형 · 원인 · 고치는 순서
파트너가 되고 모든 자료를 확인하세요. 한 번이라도 거래한 회사는 모든 유형과 보고서 전문을 볼 수 있습니다.
요약은 누구나, 전문은 계약 회사만 볼 수 있습니다.
문항과 정답은 공개하지 않습니다. 감사를 받는 회사가 같은 문항으로 미리 맞춰 둘 수 없게 하기 위해서입니다.
고성능 AI가 실제로 틀린 법령 문항만 남긴 시험지. 정답마다 법제처 원문 인용이 붙어 있습니다.
법령 원문에서 만든 함정 문항. AI의 12가지 행동을 잽니다(구성은 파트너 전용).
모르는 것을 아는 척하기 쉬운 상황 문항. 가짜를 만들어 내지 않는지, 근거가 부족하면 판단을 미루는지를 봅니다.
검색 도구를 쥔 AI를 겨냥한 실제 서비스 감사용 문항. 반박 문장이 함께 있습니다.
출원 전 발명의 내용은 계약 회사에도 공개하지 않습니다. 출원 뒤 출원번호와 함께 열람할 수 있게 올립니다.
함께 보기: AI 할루시네이션이란 · 할루시네이션 지수 · 기업용 AI 감사