딜로이트, AI 환각으로 호주 정부에 환불 — 컨설팅펌도 검증 없이 AI를 쓰면 이렇게 된다

무엇이 잘못되었는가 — 오류의 구체적 내용은?

세 가지 유형의 환각이 보고서에 포함되었다. 첫째, 존재하지 않는 학술 논문과 각주를 참고문헌으로 인용했다. 둘째, 실제와 다른 호주 연방 법원 판결문과 판사 인용구를 제시했다. 셋째, 시드니대학교 및 룬드대학교 교수들이 작성하지 않은 문헌을 해당 교수의 이름으로 포함시켰다.

이 세 가지 오류의 공통점은 모두 "그럴듯하지만 존재하지 않는 것"이라는 점이다. AI 환각의 전형적 패턴 — 실제 학술지 이름에 가짜 제목을 조합하고, 실제 판사 이름에 가짜 판결문을 붙이고, 실제 대학 교수 이름에 가짜 논문을 연결한다. 형식은 완벽하지만 내용은 허구다.

딜로이트는 수정본을 제출하며 "보고서의 실질적 결론과 권고사항은 유효하다"고 주장했다. 결론은 맞을 수 있다. 하지만 그 결론을 뒷받침하는 근거가 가짜라면, 결론의 신뢰성은 누가 보증하는가?

왜 딜로이트 규모의 조직에서도 이런 일이 발생하는가?

핵심 원인은 AI 도구를 "생산 도구"로만 쓰고 "검증 프로세스"를 설계하지 않은 것이다. AI가 생성한 텍스트를 사람이 읽고 "그럴듯하니까 괜찮겠지"로 넘기는 순간, 환각은 최종 산출물에 포함된다. 딜로이트의 문제는 GPT-4o를 쓴 것이 아니라, GPT-4o의 출력을 검증하는 구조를 갖추지 않은 것이다.

이 사건에서 드러나는 구조적 문제 세 가지:

• 참고문헌 자동 검증 부재 — AI가 생성한 논문 제목과 DOI를 학술 DB(Google Scholar, CrossRef)에서 실제 존재하는지 대조하는 단계가 없었다
• 법률 문헌 교차 검증 부재 — 판결문 번호와 인용구를 법률 DB(AustLII, LexisNexis)에서 확인하는 과정이 없었다
• 인적 검토의 한계 — 수백 개의 각주를 사람이 하나하나 확인하는 것은 현실적으로 어렵다. 그래서 자동화된 검증 체계가 필요하다

규모가 크고 전문 인력이 풍부한 딜로이트에서도 이런 일이 벌어졌다는 것은, AI 검증이 "개인의 주의력"이 아니라 "조직의 프로세스"에 의존해야 함을 증명한다.

AI 환각은 어떻게 검증해야 하는가?

AI 결과물의 검증은 Prompt(입력 설계) → Context(맥락 제공) → Harness(출력 검증) → Loop(반복 개선)의 4단계로 접근해야 한다. 딜로이트 사건에서 빠진 것은 세 번째 단계 — Harness, 즉 AI 출력물에 고삐를 채우는 검증 체계다.

1단계: Prompt — 출력 형식을 제한한다

"참고문헌을 포함하라"는 프롬프트 대신, "실제 존재하는 문헌만 인용하고, 각 문헌에 DOI 또는 접근 가능한 URL을 반드시 포함하라"고 지시한다. AI에게 "만들어도 된다"는 여지를 주지 않는 것이 첫 단계다.

2단계: Context — 검증 가능한 자료를 직접 제공한다

AI가 인터넷에서 문헌을 "기억"에 의존해 생성하는 대신, 실제 논문 PDF, 판결문 원본, 법률 데이터베이스 접근 경로를 컨텍스트로 제공한다. AI가 참조할 수 있는 신뢰 자료의 범위를 명시적으로 한정하는 것이다.

3단계: Harness — 출력물에 자동 검증을 건다

이것이 딜로이트에 없었던 단계다. 구체적으로:

• 참고문헌 실존 체크 — AI가 생성한 논문 제목을 CrossRef API나 Google Scholar에 자동 조회. 매칭되지 않으면 플래그
• 법률 문헌 교차 검증 — 판결문 번호를 법률 데이터베이스에서 자동 검색. 존재하지 않으면 차단
• 저자-기관 매칭 — 인용된 저자의 소속 기관과 실제 소속을 대조. 시드니대 교수라고 쓴 사람이 시드니대에 실제로 있는지 확인
• 인용 일관성 체크 — 본문의 인용 번호와 참고문헌 목록의 항목이 1:1 대응하는지 자동 검증

4단계: Loop — 오류 패턴을 축적하고 프로세스를 개선한다

발견된 환각 유형을 기록하고, 해당 유형에 대한 검증 규칙을 추가한다. "법원 판결문 환각"이 한 번 발생했다면, 이후 모든 법률 보고서에 판결문 자동 검증 단계를 추가하는 식이다.

이 사건이 한국 기업의 AI 도입에 시사하는 바는 무엇인가?

한국 기업들도 이미 AI를 보고서 작성, 시장 조사, 법률 검토에 활용하고 있다. 딜로이트 사건은 "우리도 언제든 같은 일이 일어날 수 있다"는 경고다. AI를 쓰지 않는 것이 답이 아니라, AI를 쓰되 검증 체계를 함께 구축하는 것이 답이다.

한국 기업이 지금 당장 점검해야 할 세 가지:

1. AI 사용 정책이 있는가? — "AI를 써도 되는 업무"와 "AI 출력을 그대로 제출해서는 안 되는 업무"의 경계가 정의되어 있는가
2. 검증 프로세스가 있는가? — AI가 생성한 수치, 인용, 사실관계를 독립적으로 확인하는 단계가 워크플로우에 포함되어 있는가
3. 사고 발생 시 대응 체계가 있는가? — AI 환각이 고객 납품물에 포함된 것을 발견했을 때, 누가 어떤 순서로 대응하는지 정해져 있는가

딜로이트는 오류를 인정하고 환불했다. 한국 기업이 같은 상황에 놓였을 때, 환불로 끝날 수 있을까? 고객사와의 신뢰 관계, 브랜드 평판, 법적 책임 — 대가는 용역비 환불보다 훨씬 클 수 있다.

"결론은 맞다"는 딜로이트의 주장은 타당한가?

결론이 맞더라도, 근거가 가짜인 보고서는 신뢰할 수 없다. 컨설팅 보고서의 가치는 결론 자체가 아니라 "왜 이 결론에 도달했는가"를 설명하는 논거의 견고함에 있다. 가짜 논문과 조작된 판결문 위에 세운 결론은, 설령 우연히 맞더라도 "검증된 결론"이 아니다.

이것은 AI 시대에 모든 지식 노동자가 마주할 질문이다. AI가 생성한 보고서를 검토할 때, 결론만 읽고 "그럴듯하니까 통과"시키는가, 아니면 근거까지 검증하는가? 전자는 빠르지만 위험하고, 후자는 느리지만 안전하다. 하네스 엔지니어링은 후자를 자동화해서, 속도를 희생하지 않으면서도 안전성을 확보하는 접근이다.