아래로 당겨서 돌아가기
AI 모델들의 사고 토큰 형식이 제각각—언제쯤 통일될까?

AI 모델들의 사고 토큰 형식이 제각각—언제쯤 통일될까?

Why AI models can't agree on how to format their thinking (and why you should care)

지금 상황이 정말 엉망입니다. 서로 다른 AI 모델들이 추론 과정을 나타내는 데 완전히 다른 형식을 사용하고 있거든요. Qwen과 DeepSeek은 `<think>...</think>`를 쓰고, Gemma는 `<|channel>...</channel|>`를 쓰고, 때론 Gemma는 구분자 없이 그냥 생 텍스트를 내뱉습니다. 완전한 혼란이죠. vLLM이 `--reasoning-parser` 플래그로 각 모델마다 대응하려고 했지만, 이건 기본적으로 유지보수자들이 영원히 응급처치를 하는 것 같은 거예요. 그리고 이 추론 출력을 실제로 사용하는 애플리케이션을 만들려면? 모든 모델마다 커스텀 파서를 작성해야 합니다. 채팅 템플릿으로 이미 배운 교훈인데, 또 같은 실수를 반복하려고 합니다.

키워드

reasoning tokensformat standardizationchat templatesmodel compatibilityparserLLM output format