아래로 당겨서 돌아가기
Qwen3.6이 Turboquant와 안 맞네—양자화 방식 비교 테스트
opinionsreddit

Qwen3.6이 Turboquant와 안 맞네—양자화 방식 비교 테스트

Qwen3.6 Crashes When Using Turboquant—Here's What Happened

사용자가 Qwen3.6을 3가지 다른 양자화 방식(llama.cpp, ik_llama.cpp, Turboquant)으로 테스트했습니다. 환경은 2개의 GPU(3080과 3060, 각 12GB)이고, 양자화 파라미터(turbo3 vs q8_0)를 제외한 모든 설정은 동일합니다. 결과는 Turboquant만 실패했고 다른 2가지 방식은 정상 작동했습니다. TheTom/llama-cpp-turboquant 구현을 사용 중입니다. 제한된 VRAM으로 로컬에서 Qwen3.6을 실행하려면 Turboquant는 아직 안정적이지 않을 수 있다는 경고입니다.

원문 보기 →

관련 기사

OpenAI 라이브스트림
오피니언읽음

OpenAI 라이브스트림

OpenAI가 라이브스트림 이벤트를 개최합니다. 방송 중에 구체적인 발표, 신제품 출시 또는 시연이 공개될 예정입니다.

The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight

Hacker News
51
ChatGPT Images 2.0 출시, 이미지 생성 기능 대폭 업그레이드
오피니언읽음

ChatGPT Images 2.0 출시, 이미지 생성 기능 대폭 업그레이드

OpenAI가 ChatGPT Images 2.0을 출시했습니다. AI 이미지 생성 기능이 크게 향상되었습니다. 라이브스트림 발표회에서 새로운 기능을 직접 확인할 수 있습니다. https://openai.com/live/ 에서 시청하세요.

OpenAI is positioning this as a direct competitor to established image generation tools, suggesting they're confident enough to challenge the current market leaders

Hacker News
109
2025년의 "6개월만 더 기다려" 주장이 단 한 번의 업데이트로 무너졌다
오피니언읽음

2025년의 "6개월만 더 기다려" 주장이 단 한 번의 업데이트로 무너졌다

2025년 내내 LLM에 대한 불만에 대한 표준 답변은 "3~6개월만 더 기다리면 다음 세대가 쉽게 해결할 거야"라는 식이었다. 이 주장은 어디서나 들을 수 있었다. 모든 한계는 일시적이라고 했고, 모든 부족한 기능은 몇 번의 업데이트 후에 올 거라고 했으며, 모든 자율 에이전트 데모는 임박한 미래의 미리보기라고 했다. 이제 2026년 4월이다. 그 약속들이 얼마나 지켜졌는지 확인할 시간이다. Reddit의 r/ClaudeAI에서 이번 주 Opus 4.7에 대한 긴 스레드가 올라왔는데, 여러 사용자들이 "이건 퇴보다"라고 주장하고 있다.

Reddit
AMD Strix Halo에서 Mistral Medium 3.5 돌려봤더니 느려 죽겠네—밤새 돌려야 함
오피니언읽음

AMD Strix Halo에서 Mistral Medium 3.5 돌려봤더니 느려 죽겠네—밤새 돌려야 함

AMD의 새로운 Strix Halo 칩에서 Mistral Medium 3.5를 실제로 테스트한 사람이 있는데, 결과는…최악입니다. 48k 토큰 프롬프트에 4k 사고 토큰을 더해서 코드 아키텍처 질문에 답하는 데만 약 2시간이 걸렸어요. 정말입니다, 2시간. Strix Halo에서 로컬로 이 모델을 돌리고 싶다면 자기 전에 실행해놓고 자야 합니다. Q5_K_XL 양자화, GPU 가속, 캐시 재사용 등 온갖 최적화를 다 적용해도 여전히 느립니다. '로컬 AI의 꿈'은 아직 멀었지만, 적어도 작동은 합니다.

Reddit