ResBM：新型Transformer架構實現128倍激活值壓縮，大幅降低訓練頻寬成本

Macrocosmos發布了一篇關於ResBM（殘差瓶頸模型）的論文，這是一個聰明的新型Transformer設計，解決了AI訓練中的真實痛點：當你把一個巨大的模型分散到多個GPU上時，它們必須不斷相互通訊，這會浪費大量頻寬並拖慢速度。ResBM使用殘差編碼器-解碼器瓶頸來壓縮管道階段之間的資料，實現128倍的激活值壓縮——基本上就是把資訊壓縮到原始大小的1/128——同時保持模型的學習能力。最妙的是？它真的有效，不會犧牲效能。這可能會讓訓練大規模AI模型便宜得多、快得多，對於沒有無限運算預算的實驗室來說意義重大。