
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

nvidia-smi、htop、vLLM のメトリクスエンドポイントを3つのターミナルで同時に監視するのに疲れたので、すべてを一つのダッシュボードにまとめました。 1秒ごとの更新でGPU、CPU、統一メモリ、ディスク、ネットワークをリアルタイム監視。vLLMの重要な統計情報(トークン/秒、初回応答時間、キューイング時間、KVキャッシュ使用率、プリフィックスキャッシュヒット率)も一目で確認できます。プロセススキャンとDocker経由で実行中のエンジンを自動検出し、複数エンジン実行時はタブで切り替え可能。15分間のローリング履歴と、サーマルスロットリング・パワーブレーキの検出機能も搭載。Rustバックエンド、Reactフロントエンド、WebSocketでストリーミング配信しています。ぜひ試してみて、フィードバックをお聞かせください!