我记得在2019年初，当我将杨志林的transformers XL模型作为transformers库中的第三个模型时，我感到非常震惊。 我并不惊讶他现在与Moonshot AI一起推出了令人印象深刻的产品。 这是一个很长的故事，我应该有一天讲述，但在某种程度上，这个小型的谷歌团队是最早真正理解训练数据扩展能力的团队之一。