Para pessoas não familiarizadas com a publicação de IA; Há 3 conferências principais todos os anos. ICML, ICLR e NeurIPS. São conferências técnicas e equivalentes a periódicos de outras disciplinas - são o principal local de publicação de IA. A competição para ter artigos nessas conferências está agora em um nível ridículo, fazer com que os artigos sejam aceitos é muito difícil e há muita preocupação com o processo de revisão, que é bastante barulhento neste momento. Um artigo forte e sem falhas tem cerca de 50% de chance de ser aceito e, normalmente, um artigo é submetido com alterações de revisor várias vezes até ser aceito. Apesar de tudo isso, os artigos nesses locais continuam sendo o principal selo de legitimidade no mundo da IA e provavelmente ainda são as principais métricas de carreira para pesquisadores de ML (embora isso esteja enfraquecendo na minha opinião, já que grande parte da pesquisa nos laboratórios de fronteira não foi publicada). Os trabalhos da Trilha Principal são significativamente diferentes dos trabalhos de workshop. A faixa principal tem uma revisão por pares intensa e séria. Os trabalhos do workshop são para trabalhos preliminares, que dão alguma indicação de um resultado interessante, mas não estão completos ou o resultado não é significativo o suficiente para a trilha principal. Eles só precisam ser revisados pelo grupo de revisores do workshop e não aparecem nos anais. Muitos grandes artigos apareceram pela primeira vez em workshops (por exemplo, grokking) - mas workshops e trabalhos principais são coisas fundamentalmente diferentes, com um nível de impacto fundamentalmente diferente. As duas únicas empresas em IA descentralizada que têm documentos principais este ano são @PrimeIntellect e Pluralis.

A revisão do vídeo do artigo de pesquisa sobre "Paralelismo de enxame" junto com o autor @m_ryabinin, Distinguished Research Scientist @togethercompute já foi lançada! Link abaixo 👇 Para contextualizar, a maioria dos treinamentos descentralizados hoje segue abordagens no estilo DDP que exigem replicação completa do modelo em cada nó. Embora prático para aqueles com clusters H100 à sua disposição, isso permanece fora do alcance da grande maioria dos contribuidores em potencial, é aqui que o SWARM é útil!