Токенізація - це лише окремий випадок "chunking" - перетворення низькорівневих даних у високорівневі абстракції - що, у свою чергу, є фундаментальним для інтелекту. Наша нова архітектура, яка забезпечує ієрархічне *динамічне фрагментування*, не тільки не містить токенізаторів, але й просто краще масштабується.

Це був неймовірно важливий проект для мене - я хотів його вирішити роками, але не мав уявлення як. Це все було @sukjun_hwang і @fluorane дивовижна робота! Я писав про історію його розвитку, і про те, що може бути далі. Мережа H-Net: