Lembro-me de ter ficado tão impressionado quando adicionei o modelo transformers XL de Yang Zhilin como o terceiro modelo na biblioteca transformers no início de 2019. Não me surpreende que agora ele esteja a enviar coisas incrivelmente impressionantes com a Moonshot AI. É uma longa história que deveria contar um dia, mas de certa forma, esta pequena equipa do Google estava entre as primeiras a realmente entender o poder de escalar os dados de treino.