Ich bin extrem begeistert von dem Potenzial der Ketten von Gedanken (CoTs) in Bezug auf Treue und Interpretierbarkeit. Es hat das Design unserer Denkmodelle erheblich beeinflusst, beginnend mit o1-preview. Da KI-Systeme mehr Rechenleistung für langfristige Forschungsprobleme aufwenden, ist es entscheidend, dass wir eine Möglichkeit haben, ihre internen Prozesse zu überwachen. Die wunderbare Eigenschaft versteckter CoTs ist, dass sie zwar anfangs in einer Sprache verankert sind, die wir interpretieren können, das skalierbare Optimierungsverfahren jedoch nicht feindlich gegenüber der Fähigkeit des Beobachters ist, die Absicht des Modells zu überprüfen - im Gegensatz zu beispielsweise direkter Aufsicht mit einem Belohnungsmodell. Die Spannung besteht darin, dass, wenn die CoTs standardmäßig nicht verborgen wären und wir den Prozess als Teil der Ausgabe der KI betrachten, es viele Anreize (und in einigen Fällen Notwendigkeiten) gäbe, Aufsicht darüber auszuüben. Ich glaube, wir können hier auf das Beste aus beiden Welten hinarbeiten - unsere Modelle so zu trainieren, dass sie großartig darin sind, ihr internes Denken zu erklären, aber gleichzeitig die Fähigkeit zu behalten, es gelegentlich zu überprüfen. Die Treue der CoTs ist Teil einer breiteren Forschungsrichtung, die auf Interpretierbarkeit abzielt: Ziele so zu setzen, dass zumindest ein Teil des Systems darauf trainiert wird, ehrlich und überwacht zu bleiben, auch im großen Maßstab. Wir setzen unsere Investitionen in diese Forschung bei OpenAI weiterhin fort.