AI 챗봇의 따옴표 사용을 막을 수 없다—어떻게 지시해도 소용없음

한 연구자가 답답한 사실을 발견했다: AI 챗봇에 따옴표를 쓰지 말라고 아무리 명확하게 지시해도 계속 쓴다는 것이다. 규칙을 수십 번 다시 표현하고, 다양한 대형언어모델(LLM)을 테스트했지만 아무것도 효과가 없었다. AI는 마치 강박적으로 매 문장마다 단어 주위에 "따옴표"를 붙이고 싶어 하는 것처럼 보인다. 예를 들어 "시각과 청각 중 어느 것이 더 나은가?"라고 물으면 "어느 감각도 본래 '더 나은' 것은 아니다"라고 답하거나, "인구의 몇 퍼센트가 어리석은가?"라고 물으면 "과학적으로 백분율을 할당할 방법은 없다..."라고 시작한다. 이 패턴의 일관성은 기묘해서 정말로 AI가 지시를 따르는 건지, 아니면 훈련 데이터가 시키는 대로 하는 건지 의문이 든다.