La tokenización ha sido la última barrera para modelos de lenguaje verdaderamente de extremo a extremo. Desarrollamos el H-Net: una red jerárquica que reemplaza la tokenización con un proceso de fragmentación dinámica directamente dentro del modelo, descubriendo y operando automáticamente sobre unidades significativas de datos.

¡Estamos increíblemente emocionados de ver cómo las H-Nets permitirán que los modelos aprendan de manera más eficiente, con menos antecedentes y preprocesamiento, a través de todo tipo de modalidades! Este trabajo fue una colaboración con @cartesia_ai 10/10