아래로 당겨서 돌아가기
-DGGML_BACKEND_DL=ON으로 CUDA + ROCm 동시 실행하기!
opinionsreddit

-DGGML_BACKEND_DL=ON으로 CUDA + ROCm 동시 실행하기!

Run CUDA + ROCm simultaneously with -DGGML_BACKEND_DL=ON!

많은 시간을 투자한 끝에 드디어 Minimax 2.7 Q4 같은 대형 언어 모델을 CUDA와 ROCm으로 동시에 실행할 수 있게 되었습니다. Vulkan을 완전히 우회합니다. 설정에서는 63개 레이어를 모두 GPU로 오프로드하며, CUDA가 83.6GB, ROCm이 40.3GB, CPU가 나머지를 처리합니다. 가장 큰 장점은 prefill 성능이 극적으로 향상된다는 것입니다. Windows에서는 build 디렉토리를 지우고 CMake와 Ninja 생성기를 사용하여 AMD ROC 설치를 지정하면 됩니다.

원문 보기 →

관련 기사

OpenAI 라이브스트림
오피니언읽음

OpenAI 라이브스트림

OpenAI가 라이브스트림 이벤트를 개최합니다. 방송 중에 구체적인 발표, 신제품 출시 또는 시연이 공개될 예정입니다.

The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight

Hacker News
51
ChatGPT Images 2.0 출시, 이미지 생성 기능 대폭 업그레이드
오피니언읽음

ChatGPT Images 2.0 출시, 이미지 생성 기능 대폭 업그레이드

OpenAI가 ChatGPT Images 2.0을 출시했습니다. AI 이미지 생성 기능이 크게 향상되었습니다. 라이브스트림 발표회에서 새로운 기능을 직접 확인할 수 있습니다. https://openai.com/live/ 에서 시청하세요.

OpenAI is positioning this as a direct competitor to established image generation tools, suggesting they're confident enough to challenge the current market leaders

Hacker News
109
2025년의 "6개월만 더 기다려" 주장이 단 한 번의 업데이트로 무너졌다
오피니언읽음

2025년의 "6개월만 더 기다려" 주장이 단 한 번의 업데이트로 무너졌다

2025년 내내 LLM에 대한 불만에 대한 표준 답변은 "3~6개월만 더 기다리면 다음 세대가 쉽게 해결할 거야"라는 식이었다. 이 주장은 어디서나 들을 수 있었다. 모든 한계는 일시적이라고 했고, 모든 부족한 기능은 몇 번의 업데이트 후에 올 거라고 했으며, 모든 자율 에이전트 데모는 임박한 미래의 미리보기라고 했다. 이제 2026년 4월이다. 그 약속들이 얼마나 지켜졌는지 확인할 시간이다. Reddit의 r/ClaudeAI에서 이번 주 Opus 4.7에 대한 긴 스레드가 올라왔는데, 여러 사용자들이 "이건 퇴보다"라고 주장하고 있다.

Reddit
AMD Strix Halo에서 Mistral Medium 3.5 돌려봤더니 느려 죽겠네—밤새 돌려야 함
오피니언읽음

AMD Strix Halo에서 Mistral Medium 3.5 돌려봤더니 느려 죽겠네—밤새 돌려야 함

AMD의 새로운 Strix Halo 칩에서 Mistral Medium 3.5를 실제로 테스트한 사람이 있는데, 결과는…최악입니다. 48k 토큰 프롬프트에 4k 사고 토큰을 더해서 코드 아키텍처 질문에 답하는 데만 약 2시간이 걸렸어요. 정말입니다, 2시간. Strix Halo에서 로컬로 이 모델을 돌리고 싶다면 자기 전에 실행해놓고 자야 합니다. Q5_K_XL 양자화, GPU 가속, 캐시 재사용 등 온갖 최적화를 다 적용해도 여전히 느립니다. '로컬 AI의 꿈'은 아직 멀었지만, 적어도 작동은 합니다.

Reddit