Transformer 모델 최적화 한계 돌파: FP16과 ONNX 이후의 다음 전략은?

개발자가 Transformer 모델의 추론 속도와 크기 최적화에서 막혔다고 호소하고 있다. FP16으로 모델을 절반으로 줄였고, ONNX Runtime으로 최적화했으며, 구조화·비구조화 프루닝(pruning)과 그래프 최적화까지 시도했지만 눈에 띄는 개선이 없어 여전히 ~162MB 수준이다. 기존의 표준 최적화 기법들이 한계에 도달한 상황에서 추가적인 해결책을 찾고 있다.