La tokenización es solo un caso especial de "fragmentación" - construir datos de bajo nivel en abstracciones de alto nivel - que a su vez es fundamental para la inteligencia. Nuestra nueva arquitectura, que permite la *fragmentación dinámica jerárquica*, no solo es libre de tokenizadores, sino que simplemente escala mejor.

Este fue un proyecto increíblemente importante para mí - he querido resolverlo durante años, pero no tenía idea de cómo. ¡Todo esto fue el increíble trabajo de @sukjun_hwang y @fluorane! Escribí sobre la historia de su desarrollo y lo que podría venir a continuación. La H-Net: