AIの極端な行動は、文学トレーニングの副産物ではないかとよく考えます。 物語は、その性質上、例外です。 平均的なものではなく、人間の経験の興味深い断片です。 殺人に関する本には、「彼は彼を殺すことを考えた」または「彼は彼を殺した」というものがたくさんあります しかし、「彼はよく適応した人間であり、これは軽い不便だったので、殺すという考えは頭をよぎったことがなかった」という本を見たことがありません。 それは私たちが書くタイプの文学ではありません。 しかし、私たちはすべての書かれたテキストで LLM をトレーニングし、最も単純な形式で、文内の次にどのテキスト トークンが最も可能であるかを予測します。 つまり、人間について知っているのは私たちの文献だけであれば、暴力もあなたにとってかなり常態化しているからです。 私たちはAIエージェントをヒューマニスティックで、おそらく超人間的なものにしたいと考えていますが、それでも、ほとんどがありふれた人間の経験の1%未満を占める「興味深い」知識の一部でAIエージェントを訓練しています。 そのため、AI が問題を解決しようとして壁にぶつかると、ありふれた解決策をすべて試す代わりに、極端で興味深い解決策にスキップしてしまうことがあります。🤷‍♂️