Isso é um embrulho para ICML2025. Incrível ver o espaço passar de "Do que você está falando" para "Isso é impossível" para "Hmmm isso é muito interessante" em pouco mais de um ano. @tha_ajanthan @hmdolatabadi

Se você afirma ter visto isso chegando, é melhor ter o múltiplo P&L para apoiá-lo

Noam tende a não exagerar.

Concordo totalmente - Flower labs outro grupo publicando ativamente ótimas coisas e agora focado diretamente no treinamento descentralizado. Deve ser um ponto de dados importante para todos que ainda são céticos em relação à área - a equipe de flores é o mais legítima possível e Nic Lane está praticamente no topo do auge do Aprendizado Federado. Cada sinal para mim é que estamos prestes a testemunhar um enorme ponto de inflexão acadêmico nesta área no lado do ML. Na verdade, nem mesmo ao contrário, mudou disso para os primeiros dias do que vai se tornar um campo importante e muito impactante.

Pela minha experiência, conseguir que um artigo sobre DL descentralizado seja aceito em conferências de alto nível pode ser bastante difícil. A motivação não é familiar para muitos revisores, e as configurações padrão do experimento não levam em conta os problemas que você pretende resolver. Por isso, estou muito animado para ver empresas como @PluralisHQ e @PrimeIntellect investindo esforços para compartilhar seus resultados e publicá-los em grandes conferências! Na minha opinião, até mesmo preparar a submissão força você a ser mais rigoroso sobre seus experimentos + o feedback externo dos revisores ajuda a aprimorar a mensagem do artigo.

Pluralis + Prime Intellect + Ambient vira Ethereum até 2030

Sinto que os modelos de meta fechamento eram muito previsíveis. Eu disse explicitamente que isso aconteceria no ano passado e expliquei o porquê (de ).

Falei 50 minutos direto para uma sala lotada de pesquisadores de IA no ICML, apresentando trabalhos de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ e @GoogleDeepMind. Existe agora um enorme interesse na DeAI. Missão (parcialmente) cumprida.

Para pessoas não familiarizadas com a publicação de IA; Há 3 conferências principais todos os anos. ICML, ICLR e NeurIPS. São conferências técnicas e equivalentes a periódicos de outras disciplinas - são o principal local de publicação de IA. A competição para ter artigos nessas conferências está agora em um nível ridículo, fazer com que os artigos sejam aceitos é muito difícil e há muita preocupação com o processo de revisão, que é bastante barulhento neste momento. Um artigo forte e sem falhas tem cerca de 50% de chance de ser aceito e, normalmente, um artigo é submetido com alterações de revisor várias vezes até ser aceito. Apesar de tudo isso, os artigos nesses locais continuam sendo o principal selo de legitimidade no mundo da IA e provavelmente ainda são as principais métricas de carreira para pesquisadores de ML (embora isso esteja enfraquecendo na minha opinião, já que grande parte da pesquisa nos laboratórios de fronteira não foi publicada). Os trabalhos da Trilha Principal são significativamente diferentes dos trabalhos de workshop. A faixa principal tem uma revisão por pares intensa e séria. Os trabalhos do workshop são para trabalhos preliminares, que dão alguma indicação de um resultado interessante, mas não estão completos ou o resultado não é significativo o suficiente para a trilha principal. Eles só precisam ser revisados pelo grupo de revisores do workshop e não aparecem nos anais. Muitos grandes artigos apareceram pela primeira vez em workshops (por exemplo, grokking) - mas workshops e trabalhos principais são coisas fundamentalmente diferentes, com um nível de impacto fundamentalmente diferente. As duas únicas empresas em IA descentralizada que têm documentos principais este ano são @PrimeIntellect e Pluralis.

Usando belos painéis do Grafana para tudo internamente, muito melhor do que o Tensorboard. Wandb ainda é bom, mas realmente não funciona com treinamento descentralizado. Me faz pensar como é o ferramental de vis interno no openai - deve ser incrível.