Para pessoas que não estão familiarizadas com a publicação em IA; existem 3 principais conferências todos os anos. ICML, ICLR e NeurIPS. Estas são conferências técnicas e o equivalente a revistas em outras disciplinas - são o principal local de publicação para IA. A competição para ter artigos aceites nessas conferências está agora em um nível ridículo, conseguir que os artigos sejam aceites é muito difícil, e há muita preocupação com o processo de revisão, que está bastante barulhento neste momento. Um artigo forte, sem falhas, tem cerca de 50% de chance de ser aceito, e tipicamente um artigo é submetido com alterações dos revisores várias vezes até ser aceito. Apesar de tudo isso, os artigos nesses locais continuam a ser o principal selo de legitimidade no mundo da IA, e provavelmente ainda são as principais métricas de carreira para pesquisadores de ML (embora isso esteja a enfraquecer na minha opinião, já que grande parte da pesquisa nos laboratórios de fronteira não é publicada). Os artigos da Main Track são significativamente diferentes dos artigos de workshop. A main track tem uma revisão por pares intensa e séria. Os artigos de workshop são para trabalhos preliminares, que dão alguma indicação de um resultado interessante, mas que estão incompletos ou o resultado não é significativo o suficiente para a main track. Eles só precisam ser revisados pelo grupo de revisores do workshop e não aparecem nos anais. Muitos grandes artigos apareceram pela primeira vez em workshops (por exemplo, grokking) - mas os artigos de workshop e da main track são coisas fundamentalmente diferentes, com um nível de impacto fundamentalmente diferente. As únicas duas empresas em IA descentralizada que têm artigos da main track este ano são @PrimeIntellect e Pluralis.

A revisão em vídeo do artigo de pesquisa sobre "Paralelismo em Enxame" junto com o autor @m_ryabinin, Cientista de Pesquisa Distinto @togethercompute, já está disponível! Link abaixo 👇 Para contexto, a maioria dos treinamentos descentralizados hoje segue abordagens no estilo DDP que requerem replicação completa do modelo em cada nó. Embora prático para aqueles que têm clusters H100 à disposição, isso continua fora do alcance da vasta maioria dos potenciais colaboradores, é aqui que o SWARM se torna útil!