La tokenisation n'est qu'un cas particulier de "chunking" - construire des données de bas niveau en abstractions de haut niveau - qui est à son tour fondamental pour l'intelligence. Notre nouvelle architecture, qui permet un *chunking dynamique hiérarchique*, n'est pas seulement sans tokenizer, mais se développe simplement mieux.

C'était un projet incroyablement important pour moi - j'ai voulu le résoudre pendant des années, mais je n'avais aucune idée de comment. Tout cela était le travail incroyable de @sukjun_hwang et @fluorane ! J'ai écrit sur l'histoire de son développement et ce qui pourrait venir ensuite. Le H-Net :