챗GPT가 틀린 정보를 말하는 이유가 궁금한가? "AI hallucination이 뭔가요?"라는 질문을 많이 받는다. 챗GPT가 자신 있게 말하는데 알고 보니 존재하지 않는 논문을 인용하거나, 없는 사람의 이름을 만들어내는 경우가 실제로 자주 발생한다.
이 현상을 AI hallucination(환각)이라고 부른다. 이 글에서는 hallucination이 정확히 무엇인지, 왜 발생하는지, 어떤 상황에서 특히 위험한지 설명한다.
AI hallucination이란
hallucination은 AI가 실제로 없는 정보를 있는 것처럼 생성하는 현상이다. 단순한 오타나 계산 실수가 아니다. AI가 그럴듯한 문장을 만들기 위해 존재하지 않는 사실을 조작하는 것이다.
대표적인 사례:
- 존재하지 않는 논문·책·연구를 실제처럼 인용
- 없는 사람의 경력·발언을 만들어서 제시
- 잘못된 법·제도 정보를 확신 있게 설명
- 실제와 다른 역사적 사실을 단정적으로 서술
왜 hallucination이 발생하는가
챗GPT는 방대한 텍스트를 학습해 다음 단어를 예측하는 방식으로 작동한다. 이 구조에서 hallucination은 필연적으로 발생한다.
- 사실 확인 메커니즘이 없다 — 출력이 사실인지 아닌지 검증하지 않는다
- 자연스러운 문장을 우선시한다 — 정확성보다 유창함이 목표다
- 학습 데이터에 없으면 채운다 — 질문에 맞는 그럴듯한 내용을 생성한다
- 확신 어조가 기본값 — 모른다고 말하는 것보다 설명하는 것이 자연스럽다
❌ hallucination 위험 질문
"최근 연구에서 이 치료법의 효과가 증명됐나요?"
"이 법에 따르면 어떤 처벌을 받나요?"
⭕ hallucination 위험을 줄이는 질문
"이 분야에서 일반적으로 어떤 연구 방향이 있는지 알려줘 (구체적 논문은 내가 찾을게)"
"이 법과 관련해 일반적으로 어떤 요소들이 고려되는지 알려줘"
💬 hallucination이 실제로 일어나는 장면
질문 예시: "2023년 한국 AI 관련 법률 최근 통과 현황을 알려줘"
hallucination 포함 AI 답변 예시: "2023년 3월 「인공지능기본법」이 국회를 통과하면서 AI 산업 전반에 새 기준이 적용되기 시작했습니다."
이 답변이 위험한 이유:
- 법안 이름·통과 시기가 실제와 다를 수 있다 — AI는 그럴듯한 이름을 만들어낸다
- 법령 정보는 국회 또는 정부 공식 사이트에서 직접 확인해야 한다
- 논문·법률·수치가 포함된 답변은 hallucination 가능성이 특히 높다
hallucination이 특히 위험한 상황
다음 상황에서는 hallucination 위험이 특히 높다.
- 의료·건강 정보를 구체적으로 물어볼 때
- 법·제도·규정을 정확하게 물어볼 때
- 특정 논문·책·사람에 대해 물어볼 때
- 수치·통계·날짜를 요구할 때
- 최근 사건이나 뉴스를 물어볼 때
hallucination을 줄이는 질문 방법
hallucination을 완전히 없앨 수는 없지만, 줄이는 방법은 있다.
- 출처 요청하기 — "이 정보의 출처를 알려줘" (없으면 hallucination 가능성 높음)
- 구체성 낮추기 — 정확한 수치·이름 대신 경향과 방향을 물어보기
- 확인 질문하기 — "이게 정확히 맞는지 자신 있어?"
- 공식 출처로 검증하기 — 챗GPT 답변은 검색의 출발점으로만 활용
관련 가이드
정리: hallucination은 구조적 특성이다
챗GPT의 hallucination은 버그가 아니라 구조에서 오는 특성이다. 이를 이해하면 챗GPT를 더 안전하게 사용할 수 있다. 중요한 정보일수록 챗GPT 답변은 반드시 공식 출처로 검증해야 한다.