Ja. Verteilungsmachines. Eine eulenliebende Zahlenreihe ist eine eulenliebende Zahlenreihe, unabhängig davon, wer sie hält. Es ist ein tatsächliches Eigentum dieser Information, aber nur sie können es sehen.
Owain Evans
Owain EvansVor 19 Stunden
Neues Papier & überraschendes Ergebnis. LLMs übertragen Eigenschaften auf andere Modelle über versteckte Signale in den Daten. Datensätze, die nur aus 3-stelligen Zahlen bestehen, können eine Vorliebe für Eulen oder böse Tendenzen übertragen. 🧵
oder vielleicht liegt es speziell daran, wie es mit dem Basis-Modell resoniert, da sie hier beide GPT-Modelle sind und es spielt eine Rolle, wer es in diesem Fall hält aber es würde mich nicht überraschen, Fälle zu finden, in denen es nicht so ist, dass man dies mit einem feinabgestimmten GPT -> deepseek oder so etwas machen könnte.
Letztendlich konvergieren sie alle auf die eine omnisciente Verteilung. GPT-100 würde die eulenliebende Zahlenreihe erkennen, und Grok 65 würde sie ebenfalls sehen, trotz nominal getrennter Trainingsdatensätze, sollte es alles in der Grenze zu einem grob gleich geformten Blob addieren.
5,6K