AI 시스템이 갑자기 프랑스어로 바뀌는 문제, 원인을 찾는데 정말 오래 걸렸어요

쿼리 언어에 따라 독일어 또는 영어로 답변하는 RAG 시스템을 만들었습니다. 간단해 보이지만 전혀 그렇지 않았어요. 원본 문서는 대부분 독일어인데, 프랑스어 법률 용어, 라틴어 구절, 가끔 영어 인용문이 섞여 있었거든요. 문제는 LLM이 독일어로 답변을 시작하다가 컨텍스트에 있는 프랑스어 구절을 만나면 갑자기 프랑스어로 전환되는 거였어요. 심지어 같은 문장에서 독일어와 프랑스어를 섞기도 했고요. 한 번은 아예 이탈리아어로만 답변한 적도 있습니다.