Tokenisasi hanyalah kasus khusus dari "chunking" - membangun data tingkat rendah menjadi abstraksi tingkat tinggi - yang pada gilirannya mendasar bagi kecerdasan. Arsitektur baru kami, yang memungkinkan *pemotongan dinamis* hierarkis, tidak hanya bebas tokenizer, tetapi hanya menskalakan lebih baik.

Ini adalah proyek yang sangat penting bagi saya - saya sudah ingin menyelesaikannya selama bertahun-tahun, tetapi tidak tahu caranya. Ini semua @sukjun_hwang dan @fluorane pekerjaan yang luar biasa! Saya menulis tentang kisah perkembangannya, dan apa yang mungkin akan terjadi selanjutnya. The H-Net: