代币化只是“分块”的一种特殊情况——将低级数据构建为高级抽象——这反过来又是智能的基础。 我们的新架构,能够实现分层的*动态分块*,不仅不需要分词器,而且扩展性更好。
Sukjun (June) Hwang
Sukjun (June) Hwang7月12日 00:06
Tokenization has been the final barrier to truly end-to-end language models. We developed the H-Net: a hierarchical network that replaces tokenization with a dynamic chunking process directly inside the model, automatically discovering and operating over meaningful units of data
这个项目对我来说非常重要——我想解决这个问题已经很多年了,但一直不知道该怎么做。这都是@sukjun_hwang和@fluorane的精彩工作! 我写了关于它发展的故事,以及接下来可能会发生的事情。 H-Net:
194.69K