下に引いて戻る
研究報告:最新のLLMをランク付けするプラットフォームは信頼性が低い可能性

研究報告:最新のLLMをランク付けするプラットフォームは信頼性が低い可能性

Study: Platforms that rank the latest LLMs can be unreliable

クラウドソースされたデータのほんの一部を削除するだけで、オンラインランキングプラットフォームの結果が大きく変わる可能性があることが判明しました。つまり、多くの人が頼りにしているAIモデルのランキングサイトは、実は思ったより不安定だということです。これらのプラットフォームはユーザーの投票や評価データを使ってAIの優劣を決めていますが、ほんの少しのデータを操作されるだけで、ランキング全体が大きく変わってしまう可能性があるわけです。

キーワード

large language modelscrowdsourced dataranking reliabilityevaluation biasdata integrity