Tokenizace je jen zvláštním případem "chunkingu" - budování nízkoúrovňových dat do vysokoúrovňových abstrakcí - což je zase zásadní pro inteligenci. Naše nová architektura, která umožňuje hierarchické *dynamické chunking*, nejenže neobsahuje tokenizery, ale jednoduše se lépe škáluje.
Sukjun (June) Hwang
Sukjun (June) Hwang12. 7. 00:06
Tokenization has been the final barrier to truly end-to-end language models. We developed the H-Net: a hierarchical network that replaces tokenization with a dynamic chunking process directly inside the model, automatically discovering and operating over meaningful units of data
Byl to pro mě neuvěřitelně důležitý projekt - chtěl jsem ho vyřešit roky, ale netušil jsem jak. To vše byla úžasná práce @sukjun_hwang a @fluorane! Psal jsem o příběhu jejího vývoje a o tom, co by mohlo přijít dál. H-síť:
194,68K