Tokenizace byla poslední překážkou pro skutečně end-to-end jazykové modely. Vyvinuli jsme H-Net: hierarchickou síť, která nahrazuje tokenizaci dynamickým procesem chunkingu přímo uvnitř modelu, automaticky objevuje a pracuje nad smysluplnými jednotkami dat

Jsme neuvěřitelně nadšeni, když vidíme, jak H-Nety umožní modelům učit se efektivněji, s menším počtem priorů a předběžného zpracování, napříč všemi druhy modalit! Tato práce byla spoluprací s @cartesia_ai 10/10