Tokenisering er bare et spesielt tilfelle av "chunking" - å bygge data på lavt nivå til abstraksjoner på høyt nivå - som igjen er grunnleggende for intelligens. Vår nye arkitektur, som muliggjør hierarkisk *dynamisk chunking*, er ikke bare tokeniseringsfri, men skalerer rett og slett bedre.
Sukjun (June) Hwang
Sukjun (June) Hwang12. juli, 00:06
Tokenization has been the final barrier to truly end-to-end language models. We developed the H-Net: a hierarchical network that replaces tokenization with a dynamic chunking process directly inside the model, automatically discovering and operating over meaningful units of data
Dette var et utrolig viktig prosjekt for meg - jeg har ønsket å løse det i årevis, men ante ikke hvordan. Alt dette var @sukjun_hwang og @fluorane er fantastisk arbeid! Jeg skrev om historien om utviklingen, og hva som kan komme videre. The H-Net:
194,69K