Tokenizarea este doar un caz special de "fragmentare" - construirea datelor de nivel scăzut în abstracțiuni de nivel înalt - care este, la rândul său, fundamentală pentru inteligență. Noua noastră arhitectură, care permite *fragmentarea dinamică* ierarhică, nu numai că nu are tokenizer, ci pur și simplu se scalează mai bine.

Acesta a fost un proiect incredibil de important pentru mine - am vrut să-l rezolv de ani de zile, dar habar nu aveam cum. Toate acestea au fost @sukjun_hwang și munca uimitoare a @fluorane! Am scris despre povestea dezvoltării sale și despre ceea ce ar putea urma în continuare. The H-Net: