下に引いて戻る
あなたが今使ってるローカルLLMのセットアップ、実際のところどうなってます?

あなたが今使ってるローカルLLMのセットアップ、実際のところどうなってます?

What is your actual local LLM stack right now?

新しいモデルをいろいろ試してるんですけど、実は一番大きな違いって、モデル自体じゃなくて、その周りの環境設定なんですよね。バックエンド、フロントエンド、RAGを使うかどうか、量子化の選択、GPU オフロード、コンテキスト設定、プロンプトフォーマット、それにすべてを繋ぎ合わせてる雑多なコード。スクリーンショットだと素晴らしく見えるセットアップも、実際に2日使うと面倒になっちゃう。正直なところ、ベンチマークで勝つセットアップより、人が本当に使い続けてるセットアップの話が聞きたいんです。あなたは毎日何を動かしてて、セットアップのどの部分が本当に効いてますか?