我們還沒有 AI 的自我提升能力，當我們這樣做時，它將改變遊戲規則。與 GPT-4 相比，現在有了更多的智慧，很明顯它不會是“快速起飛”，而是在很多年，可能是十年內極其漸進的。 首先要知道的是，自我提升，即模型自我訓練，不是二元的。考慮一下 GPT-5 訓練 GPT-6 的場景，這將是不可思議的。GPT-5 會突然從根本無法訓練 GPT-6 變成訓練得非常熟練嗎？絕對不是。與人類研究人員相比，第一次 GPT-6 訓練運行在時間和計算方面可能非常低效。只有經過多次試驗，GPT-5 才能真正比人類更好地訓練 GPT-6。 其次，即使模型可以自我訓練，它也不會突然在所有領域變得更好。在各個領域提高自己的難度是有梯度的。例如，也許自我提升一開始只對我們已經知道如何在訓練后輕鬆解決的領域起作用，比如基本的幻覺或風格。接下來是數學和編碼，這需要更多的工作，但已經建立了改進模型的方法。然後在極端情況下，你可以想像有一些任務對於自我提升來說非常困難。例如，能夠說特林吉特語，這是一種有 ~500 人使用的美洲原住民語言。該模型很難在說特林吉特語方面進行自我改進，因為除了收集更多需要時間的數據外，我們還沒有辦法解決像這樣的低資源語言。因此，由於自我提升的難度梯度，它不會一下子全部發生。 最後，也許這是有爭議的，但最終科學進步受到現實世界實驗的阻礙。有些人可能認為閱讀所有生物學論文會告訴我們治癒癌症的方法，或者閱讀所有 ML 論文並掌握所有數學可以讓你完美地訓練 GPT-10。如果是這樣的話，那麼閱讀最多論文和研究最多理論的人將是最好的 AI 研究人員。但實際發生的事情是，人工智慧（和許多其他領域）變得由無情的實證研究人員主導，這反映了有多少進步是基於現實世界的實驗，而不是原始的智慧。所以我的觀點是，儘管超級智慧代理可能會設計出比我們最好的人類研究人員好 2 倍甚至 5 倍的實驗，但歸根結底，他們仍然必須等待實驗運行，這將是一種加速，但不是快速起飛。 總而言之，進步存在許多瓶頸，而不僅僅是原始的智力或自我提升的系統。AI 將解決許多領域，但每個領域都有自己的進展速度。即使是最高的智慧，也仍然需要在現實世界中進行實驗。所以這將是一個加速，而不是快速起飛，謝謝你閱讀我的咆哮