往下拉回到首頁
你現在每天在用的本地AI模型,到底是怎麼組合的?

你現在每天在用的本地AI模型,到底是怎麼組合的?

What is your actual local LLM stack right now?

欸你知道嗎,我一直在試各種新的AI模型,但後來才發現真正的差別根本不在模型本身,而是在你怎麼設定它。像是用什麼後端軟體、前端介面長什麼樣、要不要用RAG(就是讓AI去查資料庫的功能)、要不要壓縮模型、GPU怎麼分配、上下文設定多少、怎麼寫提示詞,還有那些把一切黏在一起的臨時拼湊程式碼。說真的有點扯,很多設置在截圖上看起來超厲害,但你實際用兩天就開始覺得很煩。我現在比較想聽的是那些人們真的會一直用下去的組合,而不是那些在測試裡贏的設置。你每天到底在跑什麼,你的設置裡面哪個部分才是真的讓你覺得「欸這個不錯」的?