32 MI50 32GB setup moonshotai/Kimi-K2.6 int4 @ 9.7 tok/s (output of 136 tok) and 263 tok/s (input of 14564 tok) on vllm-gfx906-mobydick Github link of vllm fork: https://github.com/ai-infos/vllm-gfx906-mobydick Power draw: ~640W (idle) / ~4800W (peak inference) Is it worth ? No, unless you’ve got solar panels or free energy… Setup details: That’s just 2 nodes of 16 GPU that i plugged together with 10G cable ethernet. You can find details on 1 node of 16 GPU there: https://github.com/ai-in
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました
OpenAIが新しいChatGPT Images 2.0をリリースしました。画像生成の品質と機能が大きく向上しています。ライブストリーム配信で最新機能のデモンストレーションが行われています。https://openai.com/live/ でご覧ください。
OpenAIはこれを確立されたイメージ生成ツールの直接的なライバルとして位置付けてるから、現在の市場リーダーに挑戦する自信があるってこと
2025年を通じて、LLMに対する不満に対する標準的な返答は「あと3～6ヶ月待てば、次世代モデルが簡単に解決する」というバージョンばかりだった。この議論はどこにでもあった。すべての制限は一時的だと言われ、すべての欠落機能は数回のアップデート先にあると言われ、自律エージェントのデモはすべて差し迫った現実の予告編として扱われていた。 いまは2026年4月。その約束がどれだけ実現したか確認する価値がある。Redditの r/ClaudeAI では今週、Opus 4.7についての長いスレッドが立ち、複数のユーザーが「これは退化だ」と主張している。
AMD の新型 Strix Halo チップで Mistral Medium 3.5 を実際に試した人がいるんですが、結果は…ひどいものです。48k トークンのプロンプト＋4k 思考トークンで、コード設計についての質問に答えるだけで約 2 時間かかりました。本当です、2 時間ですよ。Strix Halo でローカル実行したいなら、寝る前にジョブを投げるしかありません。Q5_K_XL 量化や GPU アクセラレーション、キャッシュ再利用など、あらゆる最適化を施しても、相変わらず遅い。「ローカル AI の夢」はまだ先のようですが、少なくとも動作はします。