AIの自己改善はまだありませんが、実現すればゲームチェンジャーになるでしょう。GPT-4の時代に比べて知恵が増えた今、それが「速い離陸」ではなく、何年も、おそらく10年にわたって非常に緩やかに行われることは明らかです。 最初に知っておくべきことは、自己改善、つまりモデル自身をトレーニングすることは二元論ではないということです。GPT-5のトレーニングGPT-6のシナリオを考えてみて、これは信じられないことです。GPT-5は、GPT-6を全く訓練できない状態から、突然、非常に熟練した訓練に変わるのでしょうか?絶対に違います。最初のGPT-6トレーニングランは、人間の研究者と比較して、時間と計算が非常に非効率的である可能性があります。そして、多くの試行錯誤を経て初めて、GPT-5は実際に人間よりもGPT-6を訓練することができるようになるのです。 次に、モデルが自分自身をトレーニングできたとしても、すべてのドメインで突然改善されるわけではありません。さまざまな領域で自分自身を向上させるのがどれほど難しいかには、難易度の段階があります。例えば、自己改善は、基本的な幻覚やスタイルなど、トレーニング後に簡単に修正する方法がすでにわかっている領域に対してのみ、最初は機能するのかもしれません。次は数学とコーディングで、これはより多くの作業を必要としますが、モデルを改善するための方法が確立されています。そして、極端な場合、自己改善に非常に難しいタスクがあることを想像できます。たとえば、~500 人が話すネイティブ アメリカンの言語であるトリンギット語を話す能力です。モデルがトリンギット語を話すことを自己改善することは非常に困難であり、このような低リソース言語を解く方法はまだなく、より多くのデータを収集する以外には時間がかかるでしょう。ですから、自己改善の難しさの段階があるため、すべてが一度に起こるわけではありません。 最後に、これは議論の余地があるかもしれませんが、結局のところ、科学の進歩は現実世界の実験によってボトルネックになっています。生物学の論文を全部読めばがんの治療法がわかるとか、MLの論文を全部読んで数学を全部マスターすれば、GPT-10を完璧にトレーニングできると信じている人もいるかもしれません。もしそうなら、最も多くの論文を読み、最も多くの理論を研究した人々が最高のAI研究者となるでしょう。しかし、実際に起こったことは、AI(および他の多くの分野)が容赦なく経験的な研究者によって支配されるようになったことであり、これは、生の知性ではなく、実際の実験に基づく進歩がどれほど進んでいるかを反映しています。ですから、私が言いたいのは、超賢いエージェントは、人間の最高の研究者よりも2倍、あるいは5倍も優れた実験を設計するかもしれませんが、結局のところ、実験が実行されるのを待たなければならないということです。 要約すると、生の知性や自己改善システムだけでなく、進歩には多くのボトルネックがあります。AIは多くのドメインを解決しますが、各ドメインには独自の進行速度があります。そして、最高の知能をもってしても、現実世界での実験が必要です。だから、それは加速であり、速い離陸ではありません、私の暴言を読んでくれてありがとう