Token hóa chỉ là một trường hợp đặc biệt của "phân đoạn" - xây dựng dữ liệu cấp thấp thành các trừu tượng cấp cao - điều này lại là nền tảng cho trí tuệ. Kiến trúc mới của chúng tôi, cho phép *phân đoạn động theo cấp bậc*, không chỉ không cần bộ phân tích mà còn đơn giản là mở rộng tốt hơn.

Đây là một dự án vô cùng quan trọng đối với tôi - Tôi đã muốn giải quyết nó trong nhiều năm, nhưng không biết bắt đầu từ đâu. Tất cả đều là công việc tuyệt vời của @sukjun_hwang và @fluorane! Tôi đã viết về câu chuyện phát triển của nó, và những gì có thể sẽ đến tiếp theo. H-Net: