Video recenze výzkumného článku na téma "Rojový paralelismus" spolu s autorem @m_ryabinin, významným vědeckým pracovníkem @togethercompute je nyní venku! Odkaz níže 👇 Pro kontext, většina decentralizovaných školení se dnes řídí přístupy ve stylu DDP, které vyžadují úplnou replikaci modelu na každém uzlu. I když je to praktické pro ty, kteří mají k dispozici clustery H100, pro drtivou většinu potenciálních přispěvatelů to zůstává mimo dosah, právě zde se SWARM hodí!