Nie mamy jeszcze AI, które samodzielnie się poprawia, a kiedy już je będziemy mieć, będzie to przełom. W porównaniu do czasów GPT-4, z większą mądrością teraz, oczywiste jest, że nie będzie to "szybki start", lecz raczej niezwykle stopniowy proces rozciągający się na wiele lat, prawdopodobnie dekadę. Pierwszą rzeczą, którą należy wiedzieć, jest to, że samodoskonalenie, tj. modele trenujące same siebie, nie jest binarne. Rozważmy scenariusz, w którym GPT-5 trenuje GPT-6, co byłoby niesamowite. Czy GPT-5 nagle przejdzie od braku możliwości trenowania GPT-6 do trenowania go w sposób niezwykle biegły? Zdecydowanie nie. Pierwsze uruchomienia treningowe GPT-6 prawdopodobnie będą niezwykle nieefektywne pod względem czasu i obliczeń w porównaniu do ludzkich badaczy. I dopiero po wielu próbach, GPT-5 rzeczywiście będzie w stanie trenować GPT-6 lepiej niż ludzie. Po drugie, nawet jeśli model mógłby trenować sam siebie, nie poprawiłby się nagle we wszystkich dziedzinach. Istnieje gradient trudności w tym, jak trudno jest poprawić siebie w różnych dziedzinach. Na przykład, może samodoskonalenie działa tylko na początku w dziedzinach, które już wiemy, jak łatwo naprawić po treningu, takich jak podstawowe halucynacje czy styl. Następnie będą matematyka i kodowanie, co wymaga więcej pracy, ale ma ustalone metody poprawy modeli. A na skraju, można sobie wyobrazić, że są pewne zadania, które są bardzo trudne do samodoskonalenia. Na przykład, umiejętność mówienia w Tlingit, języku rdzennych Amerykanów, którym posługuje się około 500 osób. Będzie bardzo trudno modelowi samodzielnie poprawić się w mówieniu w Tlingit, ponieważ nie mamy jeszcze sposobów na rozwiązanie problemów z językami o niskich zasobach, poza zbieraniem większej ilości danych, co zajmie czas. Dlatego z powodu gradientu trudności samodoskonalenia, nie wszystko wydarzy się naraz. Na koniec, może to być kontrowersyjne, ale ostatecznie postęp w nauce jest ograniczony przez eksperymenty w rzeczywistym świecie. Niektórzy mogą wierzyć, że przeczytanie wszystkich prac z biologii ujawni nam lekarstwo na raka, lub że przeczytanie wszystkich prac z ML i opanowanie całej matematyki pozwoli na idealne trenowanie GPT-10. Gdyby tak było, to osoby, które przeczytały najwięcej prac i studiowały najwięcej teorii, byłyby najlepszymi badaczami AI. Ale to, co naprawdę się wydarzyło, to to, że AI (i wiele innych dziedzin) stało się zdominowane przez bezwzględnych badaczy empirycznych, co odzwierciedla, jak wiele postępu opiera się na eksperymentach w rzeczywistym świecie, a nie na czystej inteligencji. Więc mój punkt widzenia jest taki, że chociaż super inteligentny agent może zaprojektować eksperymenty 2x lub nawet 5x lepsze niż nasi najlepsi ludzcy badacze, na końcu i tak muszą czekać na przeprowadzenie eksperymentów, co byłoby przyspieszeniem, ale nie szybkim startem. Podsumowując, istnieje wiele wąskich gardeł dla postępu, nie tylko czysta inteligencja czy system samodoskonalenia. AI rozwiąże wiele dziedzin, ale każda dziedzina ma swoją własną szybkość postępu. A nawet najwyższa inteligencja nadal będzie wymagała eksperymentów w rzeczywistym świecie. Więc będzie to przyspieszenie, a nie szybki start, dziękuję za przeczytanie mojej tyrady.