Ich bin viel eher geneigt zu sagen, dass das RL *System* innerhalb von OpenAI AGI ist, anstatt irgendein festes Modell-Checkpoint, das daraus hervorgeht.

Mir ist bei unserer Veranstaltung in Berlin aufgefallen, dass es in Europa viele talentierte und ehrgeizige junge Menschen gibt. Nur (fast) keine inspirierenden Unternehmen, um die Zukunft zu gestalten, und keine VCs, die den Mut haben, ihnen eine Chance zu geben. Kein Wunder, dass jeder nach SF kommen will|

Open AI wird als eines der inspirierendsten Unternehmen aller Zeiten in Erinnerung bleiben.

Ich sehe keinen Sinn darin, die Batch-Größe auf GPU-Ebene im Code zu definieren. Das bedeutet, dass man den Batch-Größenparameter manuell ändern muss, wenn man das Experiment hoch- oder herunterskaliert. Ich nehme an, das wurde historisch in Codebasen gemacht, die kein Gradient Accumulation haben?

Wir sollten uns mehr Sorgen darüber machen, dass Thinky alle Pytorch-Leute einstellt, als dass Zuck von OpenAI abwirbt.

Wenn Sie auf der ICML sind und an verifizierbarer Inferenz interessiert sind, sollten Sie unbedingt an unserem Poster vorbeischauen! Wir werden TOPLOC vorstellen, eine effiziente Aktivierungs-Hashing-Methode, die in verschiedenen Einstellungen funktioniert, z. B. beim Wechsel von Inferenz-Setups oder sogar Modellen. 16. Juli, 16:30 Uhr, E-1106

Neuer Blogbeitrag & neue Bibliothek sind jetzt verfügbar! Der BP handelt von MaxSim, warum es *um Größenordnungen* viel anspruchsvoller ist als die normale Kosinusähnlichkeit und warum GPUs das nicht interessiert, CPUs jedoch schon! Die Bibliothek ist maxsim-cpu, die es ermöglicht, dass CPUs schnell und entspannt arbeiten können.

absolute @kellerjordan0 Sieg

Neugierig, das mit diloco auszuprobieren, würde immer noch bs=1 im inneren Optimierer verwenden und dennoch die Vorteile der Datenparallelität erhalten.

Auch die Seniorität in der Technik bedeutet, mit den technischen Schulden anderer arbeiten zu können.