Tokenisierung ist nur ein spezieller Fall von "Chunking" - das Zusammenbauen von niedrigstufigen Daten zu hochstufigen Abstraktionen - was wiederum grundlegend für Intelligenz ist. Unsere neue Architektur, die hierarchisches *dynamisches Chunking* ermöglicht, ist nicht nur tokenizer-frei, sondern skaliert einfach besser.

Dies war ein unglaublich wichtiges Projekt für mich - ich wollte es seit Jahren lösen, hatte aber keine Ahnung wie. Das war alles die erstaunliche Arbeit von @sukjun_hwang und @fluorane! Ich habe über die Geschichte seiner Entwicklung geschrieben und was als Nächstes kommen könnte. Das H-Net: