Dla osób, które nie są zaznajomione z publikowaniem w AI; co roku odbywają się 3 główne konferencje. ICML, ICLR i NeurIPS. To są konferencje techniczne i odpowiadają czasopismom w innych dziedzinach - są głównym miejscem publikacji w AI. Konkurencja o przyjęcie prac na te konferencje osiągnęła już absurdalny poziom, akceptacja prac jest bardzo trudna, a wiele osób ma obawy co do procesu recenzji, który w tym momencie jest dość hałaśliwy. Silna praca bez wad ma około 50% szans na akceptację, a zazwyczaj praca jest składana z poprawkami od recenzentów kilka razy, aż zostanie zaakceptowana. Mimo to, prace w tych miejscach pozostają głównym znakiem legitymacji w świecie AI i prawdopodobnie nadal są głównymi wskaźnikami kariery dla badaczy ML (chociaż moim zdaniem to słabnie, ponieważ tak wiele badań w laboratoriach na granicy nie jest publikowanych). Prace głównego toru różnią się znacznie od prac warsztatowych. Główny tor ma intensywną, poważną recenzję rówieśniczą. Prace warsztatowe są dla wstępnych badań, które dają pewne wskazanie interesującego wyniku, ale są albo niekompletne, albo wynik nie jest wystarczająco znaczący dla głównego toru. Muszą być recenzowane tylko przez pulę recenzentów warsztatowych i nie pojawiają się w materiałach konferencyjnych. Wiele świetnych prac po raz pierwszy pojawiło się na warsztatach (np. grokking) - ale prace warsztatowe i głównego toru to zasadniczo różne rzeczy, z zasadniczo różnym poziomem wpływu. Jedynymi dwiema firmami w zdecentralizowanej AI, które mają prace głównego toru w tym roku, są @PrimeIntellect i Pluralis.

Recenzja wideo artykułu badawczego na temat "Swarm Parallelism" wraz z autorem @m_ryabinin, Wybitnym Naukowcem Badawczym @togethercompute jest już dostępna! Link poniżej 👇 Dla kontekstu, większość zdecentralizowanego treningu dzisiaj opiera się na podejściu DDP, które wymaga pełnej replikacji modelu na każdym węźle. Chociaż jest to praktyczne dla tych, którzy mają do dyspozycji klastry H100, pozostaje to poza zasięgiem dla ogromnej większości potencjalnych współpracowników, tutaj SWARM staje się przydatny!