
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました
最近 Qwen 3.5 27b を IQ3 量化で使ってみたら結構良いんですよ。RTX 4080 で ik_llama.cpp(CUDA版)を使うと、大体 32k のコンテキスト長を問題なく詰め込めて、40+ token/秒くらいの速度が出ます。自分はローカルモデルをコーディング以外に使うので、これで十分なんです。ところで Gemma 26b MoE を TurboQuant で KV キャッシュ圧縮して IQ4 量化で行けるんじゃないかと思ってるんですけど...16GB VRAM だと本当にギリギリで、IQ4 と Q4 の品質差がけっこう目立つんですよね。