아래로 당겨서 돌아가기
지금 당신이 쓰는 로컬 LLM 스택, 실제로는 어떻게 되어 있나요?

지금 당신이 쓰는 로컬 LLM 스택, 실제로는 어떻게 되어 있나요?

What is your actual local LLM stack right now?

새로운 모델들을 계속 시도해보고 있는데, 솔직히 가장 큰 차이는 모델 자체가 아니라 그 주변의 설정에서 나온다는 걸 깨달았어요. 백엔드, 프론트엔드, RAG 사용 여부, 양자화 방식, GPU 오프로드, 컨텍스트 설정, 프롬프트 포맷, 그리고 이 모든 걸 붙여놓은 임시방편 코드들 말이에요. 스크린샷으로는 멋져 보이는 셋업도 실제로 2일 써보면 짜증 나더라고요. 저는 이제 벤치마크 점수보다는 사람들이 실제로 계속 쓰는 스택이 뭔지 궁금해요. 당신은 매일 뭘 돌리고 있고, 당신의 셋업에서 진짜 효과를 보는 부분이 뭔가요?