Recuerdo quedarme muy impresionado cuando agregué el modelo transformers XL de Yang Zhilin como el tercer modelo en la biblioteca de transformers a principios de 2019 no es de extrañar que ahora esté enviando cosas locas e impresionantes con Moonshot AI es una larga historia que debería contar algún día, pero en cierto modo, este pequeño equipo de Google fue uno de los primeros en comprender realmente el poder de escalar los datos de entrenamiento