A tokenização é apenas um caso especial de "fragmentação" - construção de dados de baixo nível em abstrações de alto nível - o que, por sua vez, é fundamental para a inteligência. Nossa nova arquitetura, que permite o *agrupamento dinâmico* hierárquico, não é apenas livre de tokens, mas simplesmente escala melhor.

Este foi um projeto incrivelmente importante para mim - eu queria resolvê-lo há anos, mas não tinha ideia de como. Tudo isso foi @sukjun_hwang e @fluorane trabalho incrível! Escrevi sobre a história de seu desenvolvimento e o que pode estar por vir. A H-Net: