Nowy post na blogu o asymetrii weryfikacji i "prawie weryfikatora": Asymetria weryfikacji – idea, że niektóre zadania są znacznie łatwiejsze do zweryfikowania niż do rozwiązania – staje się ważnym pomysłem, ponieważ mamy RL, które w końcu działa ogólnie. Świetnymi przykładami asymetrii weryfikacji są takie rzeczy jak łamigłówki sudoku, pisanie kodu dla strony internetowej takiej jak Instagram oraz problemy BrowseComp (zajmuje ~100 stron internetowych, aby znaleźć odpowiedź, ale łatwo to zweryfikować, gdy już masz odpowiedź). Inne zadania mają bliską symetrię weryfikacji, jak sumowanie dwóch 900-cyfrowych liczb lub niektóre skrypty przetwarzania danych. Jeszcze inne zadania są znacznie łatwiejsze do zaproponowania wykonalnych rozwiązań niż do ich weryfikacji (np. weryfikacja faktów długiego eseju lub stwierdzenie nowej diety, jak "jedz tylko bizon"). Ważną rzeczą do zrozumienia w kontekście asymetrii weryfikacji jest to, że można poprawić asymetrię, wykonując pewną pracę wcześniej. Na przykład, jeśli masz klucz odpowiedzi do problemu matematycznego lub jeśli masz przypadki testowe dla problemu Leetcode. To znacznie zwiększa zestaw problemów z pożądaną asymetrią weryfikacji. "Prawo weryfikatora" stwierdza, że łatwość trenowania AI do rozwiązania zadania jest proporcjonalna do tego, jak weryfikowalne jest to zadanie. Wszystkie zadania, które można rozwiązać i łatwo zweryfikować, będą rozwiązane przez AI. Zdolność do trenowania AI do rozwiązania zadania jest proporcjonalna do tego, czy zadanie ma następujące cechy: 1. Obiektywna prawda: wszyscy zgadzają się, jakie są dobre rozwiązania 2. Szybka weryfikacja: każda dana odpowiedź może być zweryfikowana w kilka sekund 3. Skalowalna weryfikacja: wiele rozwiązań może być weryfikowanych jednocześnie 4. Niski szum: weryfikacja jest jak najbardziej skorelowana z jakością rozwiązania 5. Ciągła nagroda: łatwo jest ocenić jakość wielu rozwiązań dla jednego problemu Jednym oczywistym przykładem prawa weryfikatora jest fakt, że większość benchmarków proponowanych w AI jest łatwa do weryfikacji i jak dotąd zostały rozwiązane. Zauważ, że praktycznie wszystkie popularne benchmarki w ciągu ostatnich dziesięciu lat spełniają kryteria #1-4; benchmarki, które nie spełniają kryteriów #1-4, miałyby trudności z zyskiwaniem popularności. Dlaczego weryfikowalność jest tak ważna? Ilość uczenia się w AI, która zachodzi, jest maksymalizowana, gdy powyższe kryteria są spełnione; można wykonać wiele kroków gradientowych, gdzie każdy krok ma dużo sygnału. Szybkość iteracji jest kluczowa – to powód, dla którego postęp w świecie cyfrowym był znacznie szybszy niż postęp w świecie fizycznym. AlphaEvolve z Google jest jednym z największych przykładów wykorzystania asymetrii weryfikacji. Skupia się na ustawieniach, które spełniają wszystkie powyższe kryteria i doprowadziło to do wielu postępów w matematyce i innych dziedzinach. Różni się to od tego, co robiliśmy w AI przez ostatnie dwie dekady, to nowy paradygmat, w którym wszystkie problemy są optymalizowane w ustawieniu, gdzie zbiór treningowy jest równy zbiorowi testowemu. Asymetria weryfikacji jest wszędzie i ekscytujące jest rozważanie świata poszarpanej inteligencji, gdzie wszystko, co możemy zmierzyć, zostanie rozwiązane.