La tokenización es solo un caso especial de "fragmentación" (construcción de datos de bajo nivel en abstracciones de alto nivel), que a su vez es fundamental para la inteligencia. Nuestra nueva arquitectura, que permite la fragmentación jerárquica *dinámica*, no solo está libre de tokenizadores, sino que simplemente escala mejor.

Este fue un proyecto increíblemente importante para mí: he querido resolverlo durante años, pero no tenía idea de cómo. ¡Todo esto fue todo @sukjun_hwang y @fluorane increíble trabajo! Escribí sobre la historia de su desarrollo y lo que podría venir después. La H-Net: