AI가 어려운 질문에서 갑자기 거짓말을 하는 이유

ChatGPT가 일상적인 질문에는 멋진 답변을 주는데, 최신 연구에 대해 물으면 완전히 지어낸 답변을 하는 거 눈치챘나요? 이게 왜 일어나는지 설명해드릴게요: 대규모 언어모델(LLM)은 본질적으로 '지식 리믹스 기계'예요. 기존 지식을 섞고 조합하는 건 정말 잘하니까 평범한 질문은 완벽하게 답해요. 근데 지식의 경계선(이미 알고 있는 것과 새로 발견하려는 것의 교차점)에 가까워지면 벽에 부딪혀요. 그 지점의 훈련 데이터가 너무 적고 엉망이라서, 모델이 뭘 해야 할지 몰라서 그냥 추측해버리는 거죠. 가본 적 없는 나라에 대해 물어봤을 때 모르긴 몰라도 자신감 있게 거짓말하는 사람처럼요. 요즘 AI의 환각 문제(hallucination)가 더 심해 보이는 이유가 바로 이거예요. 훈련 데이터 범위를 넘어선 질문을 하고 있는 거죠. 진짜 문제는 AI가 고장 난 게 아니라, 원래 설계되지 않은 일을 시키고 있다는 거예요.