Eso es todo para ICML2025. Increíble ver cómo el espacio ha pasado de "¿De qué estás hablando?" a "Eso es imposible" a "Hmm, eso es muy interesante" en poco más de un año. @tha_ajanthan @hmdolatabadi

Si afirmas haber visto esto venir, más te vale tener el P&L manifold para respaldarlo.

Noam tiende a no exagerar.

Totalmente de acuerdo: Flower labs es otro grupo que publica cosas excelentes y ahora está completamente enfocado en la formación descentralizada. Debería ser un punto de referencia importante para todos los que aún son escépticos en esta área: el equipo de Flower es tan legítimo como se puede ser y Nic Lane está prácticamente en la cima del pináculo en Aprendizaje Federado. Cada señal para mí indica que estamos a punto de presenciar un enorme punto de inflexión académico en esta área del lado del ML. Ya no es realmente contracorriente, ha pasado de eso a ser claramente los primeros días de lo que se convertirá en un campo importante y muy impactante.

Desde mi experiencia, conseguir que un artículo sobre DL descentralizado sea aceptado en conferencias de alto nivel puede ser bastante difícil. La motivación no es familiar para muchos revisores, y los ajustes experimentales estándar no tienen en cuenta los problemas que intentas resolver. Por lo tanto, estoy muy emocionado de ver a empresas como @PluralisHQ y @PrimeIntellect invirtiendo el esfuerzo para compartir sus resultados y publicarlos en conferencias importantes. En mi opinión, incluso preparar la presentación te obliga a ser más riguroso con tus experimentos y la retroalimentación externa de los revisores te ayuda a afinar el mensaje del artículo.

Pluralis + Prime Intellect + Ambient transforma Ethereum para 2030

Sentí que el cierre de modelos de meta era muy predecible. Dije explícitamente que esto sucedería el año pasado y expliqué por qué (de ).

Hablé 50 minutos seguidos ante una sala llena de investigadores de IA entusiastas en ICML, presentando el trabajo de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ y @GoogleDeepMind. Ahora hay un enorme interés en DeAI. Misión (parcialmente) cumplida.

Para las personas que no están familiarizadas con la publicación de IA; hay 3 conferencias principales cada año. ICML, ICLR y NeurIPS. Estas son conferencias técnicas y el equivalente a revistas en otras disciplinas: son el principal lugar de publicación para la IA. La competencia para tener artículos en estas conferencias ahora está en un nivel ridículo, conseguir que acepten artículos es muy difícil, y hay mucha preocupación sobre el proceso de revisión, que en este momento es bastante ruidoso. Un artículo sólido sin fallos tiene alrededor de un 50% de posibilidades de ser aceptado, y típicamente un artículo se presenta con cambios de los revisores varias veces hasta que es aceptado. A pesar de todo eso, los artículos en estos lugares siguen siendo el principal sello de legitimidad en el mundo de la IA, y probablemente siguen siendo las principales métricas de carrera para los investigadores de ML (aunque esto está debilitándose, en mi opinión, ya que gran parte de la investigación en los laboratorios de frontera no está publicada). Los artículos de la pista principal son significativamente diferentes a los artículos de los talleres. La pista principal tiene una revisión por pares intensa y seria. Los artículos de los talleres son para trabajos preliminares, que dan alguna indicación de un resultado interesante, pero que están incompletos o el resultado no es lo suficientemente significativo para la pista principal. Solo se requiere que sean revisados por el grupo de revisores del taller y no aparecen en las actas. Muchos grandes artículos han aparecido por primera vez en talleres (por ejemplo, grokking) - pero los artículos de talleres y de la pista principal son cosas fundamentalmente diferentes, con un nivel de impacto fundamentalmente diferente. Las únicas dos empresas en IA descentralizada que tienen artículos de la pista principal este año son @PrimeIntellect y Pluralis.

Usando hermosos paneles de Grafana para todo internamente, es mucho más agradable que Tensorboard. Wandb sigue siendo bueno, pero realmente no funciona con el entrenamiento descentralizado. Me pregunto cómo será la herramienta de visualización interna en OpenAI - debe ser increíble.