아래로 당겨서 돌아가기
What a time to be alive from 1tk/sec to 20-100tk/sec for huge models
opinionsreddit

What a time to be alive from 1tk/sec to 20-100tk/sec for huge models

What a time to be alive from 1tk/sec to 20-100tk/sec for huge models

https://www.reddit.com/r/LocalLLaMA/comments/1eb6to7/llama_405b_q4_k_m_quantization_running_locally/ https://www.reddit.com/r/LocalLLaMA/comments/1ebbgkr/llama_31_405b_q5_k_m_running_on_amd_epyc_9374f/ Llama405b q4 at 1.2tk/sec 2 years ago was something to be excited about. That same hardware will now run HUGE state of the art models (kimik2.6, deepseekv4flash, minimax2.7, step3.5flash, qwen3.5-397b) at 30tk-100tk/sec while crushing llama405b. :-/ I recall folks asking why anyone would want

원문 보기 →

관련 기사

OpenAI 라이브스트림
오피니언읽음

OpenAI 라이브스트림

OpenAI가 라이브스트림 이벤트를 개최합니다. 방송 중에 구체적인 발표, 신제품 출시 또는 시연이 공개될 예정입니다.

The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight

Hacker News
51
ChatGPT Images 2.0 출시, 이미지 생성 기능 대폭 업그레이드
오피니언읽음

ChatGPT Images 2.0 출시, 이미지 생성 기능 대폭 업그레이드

OpenAI가 ChatGPT Images 2.0을 출시했습니다. AI 이미지 생성 기능이 크게 향상되었습니다. 라이브스트림 발표회에서 새로운 기능을 직접 확인할 수 있습니다. https://openai.com/live/ 에서 시청하세요.

OpenAI is positioning this as a direct competitor to established image generation tools, suggesting they're confident enough to challenge the current market leaders

Hacker News
109
2025년의 "6개월만 더 기다려" 주장이 단 한 번의 업데이트로 무너졌다
오피니언읽음

2025년의 "6개월만 더 기다려" 주장이 단 한 번의 업데이트로 무너졌다

2025년 내내 LLM에 대한 불만에 대한 표준 답변은 "3~6개월만 더 기다리면 다음 세대가 쉽게 해결할 거야"라는 식이었다. 이 주장은 어디서나 들을 수 있었다. 모든 한계는 일시적이라고 했고, 모든 부족한 기능은 몇 번의 업데이트 후에 올 거라고 했으며, 모든 자율 에이전트 데모는 임박한 미래의 미리보기라고 했다. 이제 2026년 4월이다. 그 약속들이 얼마나 지켜졌는지 확인할 시간이다. Reddit의 r/ClaudeAI에서 이번 주 Opus 4.7에 대한 긴 스레드가 올라왔는데, 여러 사용자들이 "이건 퇴보다"라고 주장하고 있다.

Reddit
AMD Strix Halo에서 Mistral Medium 3.5 돌려봤더니 느려 죽겠네—밤새 돌려야 함
오피니언읽음

AMD Strix Halo에서 Mistral Medium 3.5 돌려봤더니 느려 죽겠네—밤새 돌려야 함

AMD의 새로운 Strix Halo 칩에서 Mistral Medium 3.5를 실제로 테스트한 사람이 있는데, 결과는…최악입니다. 48k 토큰 프롬프트에 4k 사고 토큰을 더해서 코드 아키텍처 질문에 답하는 데만 약 2시간이 걸렸어요. 정말입니다, 2시간. Strix Halo에서 로컬로 이 모델을 돌리고 싶다면 자기 전에 실행해놓고 자야 합니다. Q5_K_XL 양자화, GPU 가속, 캐시 재사용 등 온갖 최적화를 다 적용해도 여전히 느립니다. '로컬 AI의 꿈'은 아직 멀었지만, 적어도 작동은 합니다.

Reddit