Kan een AI-model perfect voorspellen en toch een vreselijk wereldmodel hebben? Wat zou dat zelfs betekenen? Ons nieuwe ICML-papier formaliseert deze vragen. Een resultaat vertelt het verhaal: Een transformer getraind op 10 miljoen zonnestelsels slaat de planetenbanen perfect, maar verprutst de zwaartekrachtswetten 🧵

Ons paper heeft als doel om twee vragen te beantwoorden: 1. Wat is het verschil tussen voorspelling en wereldmodellen? 2. Zijn er eenvoudige metrics die dit onderscheid kunnen testen? Ons paper gaat over AI. Maar het is nuttig om 400 jaar terug te gaan om deze vragen te beantwoorden.

Misschien begon het meest invloedrijke wereldmodel als een voorspellend model. Voordat we de wetten van de zwaartekracht van Newton hadden, hadden we de voorspellingen van Kepler over planetenbanen. De voorspellingen van Kepler leidden tot de wetten van Newton. Wat voegde Newton dus toe?