У нас ще немає самовдосконалення штучного інтелекту, і коли ми це зробимо, це змінить правила гри. З більшою мудрістю зараз у порівнянні з днями GPT-4 очевидно, що це буде не «швидкий зліт», а скоріше надзвичайно поступовий протягом багатьох років, можливо, десятиліття. Перше, що потрібно знати, це те, що самовдосконалення, тобто навчання моделей, не є бінарним. Розглянемо сценарій тренування GPT-5 GPT-6, який був би неймовірним. Чи зможе GPT-5 раптом перетворитися з неможливості тренувати GPT-6 на його надзвичайно вміле навчання? Однозначно ні. Перші тренувальні запуски GPT-6, ймовірно, будуть вкрай неефективними за часом та обчисленнями порівняно з дослідженнями на людях. І лише після багатьох випробувань GPT-5 дійсно зможе тренувати GPT-6 краще, ніж люди. По-друге, навіть якби модель могла тренуватися сама, вона не стала б раптом кращою у всіх сферах. Існує градієнт складності в тому, наскільки важко вдосконалюватися в різних сферах. Наприклад, можливо, самовдосконалення спочатку працює лише на тих доменах, які ми вже знаємо, як легко виправити після тренування, наприклад, базові галюцинації або стиль. Далі будуть математика та кодування, які вимагають більше роботи, але мають встановлені методи вдосконалення моделей. А потім в крайньому випадку можна уявити, що є якісь завдання, які дуже важкі для самовдосконалення. Наприклад, здатність говорити тлінгітом, індіанською мовою, якою розмовляють ~500 осіб. Моделі буде дуже важко самовдосконалюватися в розмовній мові тлінгіт, оскільки у нас поки що немає способів вирішення таких мов з низьким рівнем ресурсів, крім збору більшої кількості даних, що займе час. Так що через градієнт труднощів самовдосконалення не все буде відбуватися відразу. Нарешті, можливо, це суперечливо, але в кінцевому підсумку прогрес у науці обмежується реальними експериментами. Дехто може вважати, що читання всіх робіт з біології розповість нам ліки від раку, або що читання всіх робіт з ML та освоєння всієї математики дозволить вам ідеально тренувати GPT-10. Якби це було так, то люди, які прочитали найбільше статей і вивчили найбільше теорії, були б найкращими дослідниками штучного інтелекту. Але насправді сталося те, що в ШІ (і в багатьох інших галузях) стали домінувати безжально емпіричні дослідники, що відображає, наскільки прогрес ґрунтується на реальних експериментах, а не на сирому інтелекті. Отже, моя думка полягає в тому, що, хоча суперрозумний агент може розробити в 2 або навіть 5 разів кращі експерименти, ніж наші найкращі дослідники на людях, в кінці дня їм все одно доведеться чекати, поки почнуться експерименти, що буде прискоренням, але не швидким зльотом. Підсумовуючи, можна сказати, що існує багато вузьких місць для прогресу, а не лише сирий інтелект чи система самовдосконалення. Штучний інтелект вирішить багато сфер, але кожен домен має свій темп прогресу. І навіть найвищий інтелект все одно вимагатиме експериментів у реальному світі. Так що це буде прискорення, а не швидкий зліт, дякую, що прочитали мою розповідь