代幣化只是一種特殊的「分塊」情況——將低層次數據構建成高層次抽象——這反過來又是智能的基礎。 我們的新架構,能夠實現層次化的*動態分塊*,不僅無需分詞器,而且擴展性更佳。
Sukjun (June) Hwang
Sukjun (June) Hwang7月12日 00:06
Tokenization has been the final barrier to truly end-to-end language models. We developed the H-Net: a hierarchical network that replaces tokenization with a dynamic chunking process directly inside the model, automatically discovering and operating over meaningful units of data
這對我來說是一個非常重要的項目——我想解決它已經好多年了,但不知道該怎麼做。這一切都是 @sukjun_hwang 和 @fluorane 的驚人工作! 我寫了它發展的故事,以及接下來可能會發生的事情。 H-Net:
194.68K