RTX 5090에서 동일한 실제 아키텍처 작성 작업으로 Qwen3.6-27B, Qwen3.6-35B-A3B, Qwen3.5-27B, Gemma 4를 테스트했습니다

간단하지만 매우 흥미로운 로컬 LLM 테스트를 진행했습니다. 처음에는 Qwen 두 모델과 Gemma4만 테스트하고 자려고 했는데, Reddit에서 Qwen3.6-27B가 방금 출시되었다는 글을 봤거든요. 테스트한 모델은 Gemma4, Qwen3.6-35B(RedHatAI의 NVFP4 양자화 버전), Qwen3.5-27B(QuantTrio의 AWQ 양자화 버전), Qwen3.6-27B(cyankiwi의 AWQ-INT4 양자화 버전)입니다. 저는 노이즈가 많은 증거를 처리하고 아키텍처 설계 결정을 생성하는 상당히 복잡한 도구를 개발 중입니다. 이 테스트는 각 모델의 추론 능력과 지시 준수 능력을 검증하는 좋은 방법이며, 모델 크기, 양자화 방법, 실제 성능 간의 흥미로운 트레이드오프를 보여줍니다.