標記化一直是實現真正端到端語言模型的最後障礙。 我們開發了 H-Net：一個層次化網絡，將標記化替換為模型內部的動態分塊過程，自動發現並操作有意義的數據單元。

我們非常興奮地看到 H-Nets 將如何使模型能夠更有效率地學習，減少先驗和預處理，涵蓋各種模式！ 這項工作是與 @cartesia_ai 的合作 10/10