A tokenização tem sido a barreira final para modelos de linguagem verdadeiramente de ponta a ponta. Desenvolvemos a H-Net: uma rede hierárquica que substitui a tokenização por um processo dinâmico de agrupamento diretamente dentro do modelo, descobrindo e operando automaticamente em unidades significativas de dados

Estamos incrivelmente empolgados em ver como os H-Nets permitirão que os modelos aprendam com mais eficiência, com menos prévias e pré-processamento, em todos os tipos de modalidades! Este trabalho foi uma colaboração com @cartesia_ai 10/10