We hebben nog geen AI die zichzelf verbetert, en wanneer we dat wel hebben, zal het een game-changer zijn. Met meer wijsheid nu vergeleken met de dagen van GPT-4, is het duidelijk dat het geen "snelle stijging" zal zijn, maar eerder extreem geleidelijk over vele jaren, waarschijnlijk een decennium. Het eerste wat je moet weten is dat zelfverbetering, d.w.z. modellen die zichzelf trainen, niet binair is. Overweeg het scenario waarin GPT-5 GPT-6 traint, wat ongelooflijk zou zijn. Zou GPT-5 plotseling van niet in staat om GPT-6 te trainen naar het extreem bekwaam trainen van GPT-6 gaan? Zeker niet. De eerste trainingsruns van GPT-6 zouden waarschijnlijk extreem inefficiënt zijn in tijd en rekenkracht vergeleken met menselijke onderzoekers. En pas na veel pogingen zou GPT-5 daadwerkelijk in staat zijn om GPT-6 beter te trainen dan mensen. Ten tweede, zelfs als een model zichzelf zou kunnen trainen, zou het niet plotseling beter worden in alle domeinen. Er is een gradient van moeilijkheid in hoe moeilijk het is om zichzelf te verbeteren in verschillende domeinen. Bijvoorbeeld, misschien werkt zelfverbetering in het begin alleen in domeinen waarvan we al weten hoe we ze gemakkelijk kunnen oplossen na de training, zoals basis hallucinaties of stijl. Vervolgens zou wiskunde en coderen komen, wat meer werk kost maar gevestigde methoden heeft voor het verbeteren van modellen. En dan, aan de extreme kant, kun je je voorstellen dat er enkele taken zijn die erg moeilijk zijn voor zelfverbetering. Bijvoorbeeld, de mogelijkheid om Tlingit te spreken, een inheemse Amerikaanse taal die door ~500 mensen wordt gesproken. Het zal erg moeilijk zijn voor het model om zichzelf te verbeteren in het spreken van Tlingit, aangezien we nog geen manieren hebben om laag-resources talen zoals deze op te lossen, behalve het verzamelen van meer gegevens, wat tijd kost. Dus vanwege de gradient van moeilijkheid van zelfverbetering, zal het niet allemaal tegelijk gebeuren. Ten slotte, misschien is dit controversieel, maar uiteindelijk wordt vooruitgang in de wetenschap gebottlenecked door experimenten in de echte wereld. Sommigen geloven misschien dat het lezen van alle biologiepapers ons de genezing voor kanker zou vertellen, of dat het lezen van alle ML-papers en het beheersen van alle wiskunde je in staat zou stellen om GPT-10 perfect te trainen. Als dit het geval was, zouden de mensen die de meeste papers lezen en de meeste theorie bestuderen de beste AI-onderzoekers zijn. Maar wat er echt is gebeurd, is dat AI (en vele andere velden) gedomineerd werd door meedogenloos empirische onderzoekers, wat weerspiegelt hoeveel vooruitgang is gebaseerd op experimenten in de echte wereld in plaats van op ruwe intelligentie. Dus mijn punt is, hoewel een super slimme agent misschien 2x of zelfs 5x betere experimenten kan ontwerpen dan onze beste menselijke onderzoekers, moeten ze aan het eind van de dag nog steeds wachten tot experimenten zijn uitgevoerd, wat een versnelling zou zijn maar geen snelle stijging. Samenvattend zijn er veel bottlenecks voor vooruitgang, niet alleen ruwe intelligentie of een zelfverbeteringssysteem. AI zal veel domeinen oplossen, maar elk domein heeft zijn eigen voortgangsnelheid. En zelfs de hoogste intelligentie zal nog steeds experimenten in de echte wereld vereisen. Dus het zal een versnelling zijn en geen snelle stijging, bedankt voor het lezen van mijn rant.