Я помню, как я был впечатлён, когда добавил модель transformers XL Яна Чжилина в качестве третьей модели в библиотеку transformers в начале 2019 года. Не удивлён, что теперь он поставляет невероятно впечатляющие вещи с Moonshot AI. Это длинная история, которую я должен рассказать однажды, но в некотором смысле эта небольшая команда из Google была одной из первых, кто действительно понял силу масштабирования обучающих данных.