
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

b8858コミット以降で利用可能。この最適化されたCPUバージョンはトークン生成速度が大幅に向上しました。古いノートパソコン(16GB DDR3 RAM)でのテストでは、0.3 t/sから1.7 t/sへの改善が確認されました。ただし、AVX/AVX512非対応のため、期待ほどの性能向上には至りませんでした。新しいノートパソコンでの追加テストを予定中。ちなみに、MetalやVulkan、CUDAバージョンもこの最適化に対応しており、1ビット量子化版も利用可能です。まだ試していなければ、チェックしてみる価値があります。