
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

AMD の新型 Strix Halo チップで Mistral Medium 3.5 を実際に試した人がいるんですが、結果は…ひどいものです。48k トークンのプロンプト+4k 思考トークンで、コード設計についての質問に答えるだけで約 2 時間かかりました。本当です、2 時間ですよ。Strix Halo でローカル実行したいなら、寝る前にジョブを投げるしかありません。Q5_K_XL 量化や GPU アクセラレーション、キャッシュ再利用など、あらゆる最適化を施しても、相変わらず遅い。「ローカル AI の夢」はまだ先のようですが、少なくとも動作はします。
テックブロガーの見解
ある人がAIにコーディング質問の回答を待つのに2時間かかった。これがローカルAIがまだ準備できていない理由だ。
こんなシーン想像してみてください:ローカルAIに複雑なコーディング質問をぶつけて、エンターを押して...そしたら待つ。2時間。これ、実際にMistral Medium 3.5をAMDの新しいStrix Haloチップでテストした時に起きたことなんです。48kトークンのプロンプトに思考トークン4k — つまりAIにコードアーキテクチャの問題を本気で考えさせるレベルの質問。最適化の全てのトリックを使ったのに(Q5_K_XL量化、GPU加速フル稼働、キャッシュ再利用)、それでもダイアルアップインターネット並みに遅い。これ、安いセットアップじゃないですよ。Strix HaloはAMDのフラッグシップAIチップですから。残酷な現実?みんなが『ノートパソコンでAI』って盛り上がってるけど、実際にはCloudGPTみたいな即座の体験にはまだ光年単位で遠い。確かに動きます。でも『動く』と『実用的』は全く別の話なんです。
AI分析
ハードウェア開発
high次のチップ設計のためにAIワークロードベンチマークの計画を始めましょう — ユーザーの期待値が「動くのか」から「どのくらい速いのか」にシフトしています
最適化の全てのトリックを使ったAMDのフラッグシップStrix Haloでさえ、クラウドAPIが数秒でやることに2時間かかります — ローカルAIのパフォーマンスギャップは本当にヤバい
ユーザーはもうすぐ気づきます。『AI対応ハードウェア』と『実用的なAIハードウェア』は全く別物だってことに
職種への影響分析
AIエンジニア
役割変化ローカルAI推論がプレミアムハードウェアでも信じられないくらい遅いことが判明して、デプロイメント戦略の完全な見直しが必須になった
今からハイブリッドワークフローを構築しましょう — 長い推論ジョブはローカルで夜間に実行、インタラクティブな作業はクラウドに任せる
プロダクトマネージャー
リスクローカルハードウェアでの複雑なAIタスクに2時間待つ必要があるから、リアルタイムのプロダクト体験なんて夢のまた夢
AIフィーチャーをバッチ処理と夜間ワークフロー中心に再設計しましょう。即座のレスポンスなんて期待しちゃダメ