Animado para compartilhar nosso novo trabalho: "Os modelos de linguagem melhoram quando os dados de pré-treinamento correspondem às tarefas de destino" Sim, parece óbvio (e é!), mas normalmente isso só acontece implícita e indiretamente: selecione intuitivamente os dados → benchmark → refine → repita. Nós nos perguntamos: o que acontece se combinarmos explicitamente os dados de pré-treinamento com os benchmarks? O resultado é uma abordagem muito simples que produz multiplicadores de computação 2x+ em linhas de base fortes e nos dá uma maneira baseada em princípios de estudar como as escolhas de benchmark moldam (e restringem!) os recursos do modelo. Bônus: extensas leis de dimensionamento do treinamento de 500+ modelos que revelam como a seleção de dados ideal evolui à medida que os modelos são dimensionados. 🧵 (1/14)