往下拉回到首頁
我從零開始寫了一個擴散語言模型,比想像中簡單多了

我從零開始寫了一個擴散語言模型,比想像中簡單多了

Building my own Diffusion Language Model from scratch was easier than I thought

最近發現自己太依賴 Claude Code,作者決定挑戰一下:不用 AI 生成的程式碼,能不能從零開始實作一個擴散語言模型(diffusion language model)?結果他真的做到了,還是在等論文訓練的空檔完成的。用 MacBook Air M2 在莎士比亞小資料集上訓練幾小時,模型就開始產生有模有樣的文本。這證明了一件事:你不需要花大錢買超級電腦,也不用完全依賴 AI 工具,自己動手就能理解這些模型怎麼運作。