Tokenisering har varit det sista hindret för verkligt heltäckande språkmodeller. Vi utvecklade H-Net: ett hierarkiskt nätverk som ersätter tokenisering med en dynamisk chunking-process direkt i modellen, som automatiskt upptäcker och fungerar över meningsfulla dataenheter

Vi är otroligt spända på att se hur H-Nets kommer att göra det möjligt för modeller att lära sig mer effektivt, med färre priorer och förbehandling, över alla möjliga modaliteter! Detta arbete var ett samarbete med @cartesia_ai 10/10