Emocionado de compartir nuestro nuevo trabajo: “Los Modelos de Lenguaje Mejoran Cuando los Datos de Preentrenamiento Coinciden con las Tareas Objetivo” Sí, suena obvio (¡y lo es!), pero típicamente esto solo sucede de manera implícita e indirecta: seleccionar datos de manera intuitiva → referencia → refinar → repetir. Nos preguntamos: ¿qué pasa si emparejamos explícitamente los datos de preentrenamiento con las referencias? El resultado es un enfoque muy simple que ofrece multiplicadores de computación de 2x+ sobre bases sólidas y nos proporciona una forma fundamentada de estudiar cómo las elecciones de referencia moldean (¡y restringen!) las capacidades del modelo. Bonus: leyes de escalado extensas de entrenar más de 500 modelos que revelan cómo la selección óptima de datos evoluciona a medida que los modelos escalan. 🧵 (1/14)