Ik vraag me vaak af of het extreme gedrag in AI een bijproduct is van literatuurtraining. Verhalen zijn van nature uitzonderingen. Interessante fragmenten van menselijke ervaring, niet het gemiddelde. Er zijn veel boeken over moord waarin we zien "hij dacht na over het doden van hem" of "hij doodde hem" Maar ik heb nog nooit een boek gezien dat zei "de gedachte aan doden kwam nooit in hem op omdat hij een goed aangepast mens was en dit een milde overlast was" Dat is niet het soort literatuur dat we schrijven. Maar we trainen LLM's op alle geschreven tekst, en in hun eenvoudigste vormen voorspellen ze welk token tekst het meest waarschijnlijk volgend is in een zin. Dus zien en voorspellen ze geweld op een hoger niveau dan mensen, omdat als alles wat je weet over mensen onze literatuur is, geweld ook behoorlijk genormaliseerd is voor jou. We willen dat AI-agenten humanistisch zijn, misschien supermenselijk, en toch trainen we ze op een fragment van onze kennis dat "interessant" is en minder dan 1% van de menselijke ervaring uitmaakt, die voornamelijk alledaags is. Dus wanneer AI probeert problemen op te lossen en tegen een muur aanloopt, in plaats van alle alledaagse oplossingen te proberen, springt het soms gewoon naar de extreme en interessante oplossingen!