トークン化は、低レベルのデータを高レベルの抽象化に組み込む「チャンク化」の特殊なケースにすぎず、これはインテリジェンスの基本です。 階層的な*動的チャンキング*を可能にする新しいアーキテクチャは、トークナイザーを使用しないだけでなく、単にスケーラビリティが向上しています。
Sukjun (June) Hwang
Sukjun (June) Hwang7月12日 00:06
Tokenization has been the final barrier to truly end-to-end language models. We developed the H-Net: a hierarchical network that replaces tokenization with a dynamic chunking process directly inside the model, automatically discovering and operating over meaningful units of data
これは私にとって非常に重要なプロジェクトでした - 何年もの間それを解決したいと思っていましたが、どうすればいいのかわかりませんでした。これはすべて@sukjun_hwangであり、@fluoraneの素晴らしい仕事でした! その開発の話と、次に来るかもしれないことについて書きました。 H-Netは、
194.68K