Gedachten/voorspellingen over gedecentraliseerde AI-training, 2025. 1. Eén ding is zeker: we bevinden ons in een andere wereld met gedecentraliseerde AI-training dan 18 maanden geleden. Toen was gedecentraliseerde training onmogelijk en nu is het op de markt en is het een veld. 2. Maak geen vergissing, het einddoel van d-training is het trainen van competitieve, grensverleggende modellen op d-netwerken. We staan pas aan het begin van onze competitieve reis, maar we bewegen snel. 3. Het is nu consensus dat we multi-miljard parameter modellen (voornamelijk LLM's, voornamelijk transformerarchitecturen) kunnen voortrainen en natrainen op d-netwerken. De huidige stand van zaken is tot ~100B, waarvan de bovenkant in zicht is maar nog niet is getoond. 4. Het is nu consensus dat we <10B parameter modellen op d-netwerken vrij haalbaar kunnen trainen. Er zijn ook specifieke casestudy's geweest (voornamelijk van @gensynai @PrimeIntellect @NousResearch) waar 10B, 32B, 40B parameters zijn of worden getraind. De post-training zwerm van @gensynai werkt op modellen met tot 72B parameters. 5. De innovatie van @PluralisHQ heeft nu de "onmogelijkheids" van schaalbare voortraining op d-netwerken ongeldig gemaakt door de communicatie-inefficiëntie-flessenhals te verwijderen. Echter, ruwe FLOPs, betrouwbaarheid en verifieerbaarheid blijven knelpunten voor deze soorten netwerken - problemen die zeer oplosbaar zijn maar enige tijd zullen vergen om technisch op te lossen. Met Protocol Learning van Pluralis zoals het er nu uitziet, denk ik dat we binnen een tijdsbestek van 6-12 maanden ~100B modellen kunnen bereiken. 6. Hoe komen we van 100B naar 300B parameter modellen? Ik denk dat we manieren moeten vinden om parameters effectief en soepel te splitsen en om het geheugen van individuele apparaten relatief laag te houden (bijv. <32GB geheugen per apparaat). Ik denk dat we naar 20 EFlops in een netwerk moeten gaan; dat betekent iets als 10-20K consumentapparaten die 4-6 weken draaien voor een training. Al met al staat d-training op het punt een zeer opwindend gebied te worden. Sommige van zijn innovaties worden al overwogen voor brede AI-toepassingen.