La tokenización ha sido la última barrera para los modelos de lenguaje verdaderamente integrales. Desarrollamos la H-Net: una red jerárquica que reemplaza la tokenización con un proceso de fragmentación dinámica directamente dentro del modelo, descubriendo y operando automáticamente sobre unidades significativas de datos

Estamos increíblemente emocionados de ver cómo H-Nets permitirá que los modelos aprendan de manera más eficiente, con menos prioridades y preprocesamiento, ¡en todo tipo de modalidades! Este trabajo fue una colaboración con @cartesia_ai 10/10