往下拉回到首頁
有人把 Transformer 的新招式用在決策樹上,結果樹長得更聰明了

有人把 Transformer 的新招式用在決策樹上,結果樹長得更聰明了

ibu-boost: A GBDT Library Where Splits Are Absolutely Rejected, Not Just Relatively Ranked

欸你知道嗎,有個研究員把最近很紅的論文《篩選就夠了》裡的想法,拿來改造梯度提升決策樹(GBDT)這個傳統機器學習工具。簡單來說就是,以前決策樹在選擇怎麼分割資料時,都是把所有選項排個名次,然後挑最好的。但這個新函式庫改成用「絕對標準」來直接刪除爛選項,不用一個一個比較——這就像是從「你們都排隊,我挑最前面的」改成「不符合標準的直接出局」。結果呢?樹的訓練可能變快了,效率也更好。說真的,把 Transformer 的新想法套用到老派的決策樹上還真的有效,這也太猛了吧。

相關標籤

gradient-boosted treessplit selectionscreening transformmachine learningopen source library