Tokenisering är bara ett specialfall av "chunking" - att bygga in data på låg nivå i abstraktioner på hög nivå - vilket i sin tur är grundläggande för intelligens. Vår nya arkitektur, som möjliggör hierarkisk *dynamisk segmentering*, är inte bara tokeniserarfri, utan skalar helt enkelt bättre.

Det här var ett otroligt viktigt projekt för mig - jag har velat lösa det i flera år, men inte haft någon aning om hur. Allt detta var @sukjun_hwang och @fluorane fantastiska arbete! Jag skrev om historien om dess utveckling och vad som kan komma härnäst. H-nätet: