往下拉回到首頁
你現在用的本地大型AI模型堆疊到底長什麼樣?

你現在用的本地大型AI模型堆疊到底長什麼樣?

What is your actual local LLM stack right now?

我一直在試新的模型,但說真的,差別最大的通常不是模型本身,而是圍繞在它周圍的整套系統。後端、前端、有沒有用RAG檢索增強、量化方式、GPU卸載、上下文設定、提示詞格式,還有那些把一切黏在一起的臨時拼湊程式碼。很多本地設置在截圖上看起來超棒,但實際用兩天就開始覺得很煩。我現在比較想聽的是那些人們真的會持續用下去的堆疊,而不是基準測試的贏家。你每天在跑什麼,你的設置裡哪個部分才是真正讓你滿意的?