Myšlenky/předpovědi v decentralizovaném školení AI, 2025. 1. Jedna věc, kterou je třeba říci, je, že jsme rozhodně v jiném světě s decentralizovaným školením AI, než jsme byli před 18 měsíci. Tehdy bylo decentralizované školení nemožné a nyní je na trhu a je to obor. 2. Nenechte se mýlit, konečným cílem d-tréninku je trénovat konkurenceschopné, hraniční modely na d-sítích. Proto jsme teprve na začátku naší konkurenční cesty, ale postupujeme rychle. 3. Nyní panuje shoda, že můžeme předtrénovat a posttrénovat modely s mnoha miliardami parametrů (většinou LLM, většinou transformerové architektury) na d-sítích. Současný stav techniky je až ~100 THB, jehož horní konec je v dohledu, ale nebyl zobrazen. 4. Nyní panuje shoda, že můžeme trénovat modely parametrů <10B na d-sítích docela reálně. Objevily se také konkrétní případové studie (především z @gensynai @PrimeIntellect @NousResearch), kde byly nebo jsou trénovány parametry 10B, 32B, 40B. Poškolovací roj @gensynai pracuje na modelech s až 72B parametry. 5. Inovace v @PluralisHQ nyní vyvrátila "nemožnost" škálovatelného předběžného školení na d-sítích tím, že odstranila úzké hrdlo komunikační neefektivity. Nicméně hrubé FLOPy, spolehlivost a ověřitelnost zůstávají úzkými hrdly pro tyto typy sítí – problémy, které jsou velmi dobře řešitelné, ale jejich technické vyřešení bude nějakou dobu trvat. S protokolem Učícím se od Pluralisu v současné podobě si myslím, že se dostaneme k ~100B modelům v časovém rámci 6-12 měsíců. 6. Jak se dostaneme z modelů s parametry 100B na 300B? Myslím, že musíme najít způsoby, jak efektivně a plynule shardovat parametry a udržet paměť jednotlivých zařízení relativně nízkou (např. <32 GB paměti na zařízení). Myslím, že se potřebujeme dostat na 20 EFlopů v síti; to znamená něco jako 10-20 tisíc spotřebitelských zařízení běžících po dobu 4-6 týdnů na tréninku. Celkově je d-training připraven být velmi vzrušujícím prostorem. Některé z jejích inovací jsou již zvažovány pro široké aplikace AI.