下に引いて戻る
AIモデルの思考トークン形式がバラバラ—統一基準はいつになる?

AIモデルの思考トークン形式がバラバラ—統一基準はいつになる?

Why AI models can't agree on how to format their thinking (and why you should care)

今の状況は本当にめちゃくちゃです。異なるAIモデルが推理プロセスを表すのに、全く違うフォーマットを使ってるんです。QwenとDeepSeekは`<think>...</think>`を使い、Gemmaは`<|channel>...</channel|>`を使い、時々Gemmaは区切り文字を使わずに生のテキストを吐き出します。完全なカオスです。 vLLMは`--reasoning-parser`フラグで各モデルごとに対応しようとしましたが、これは基本的にメンテナーが永遠に対症療法をしているようなもの。そして、これらの推理出力を実際に使うアプリケーションを構築しようとしたら?各モデルごとにカスタムパーサーを書く羽目になります。チャットテンプレートで同じ教訓を学んだはずなのに、また同じ過ちを繰り返そうとしています。

キーワード

reasoning tokensformat standardizationchat templatesmodel compatibilityparserLLM output format