ik ben veel meer geneigd te zeggen dat het RL *systeem* binnen OpenAI AGI is in plaats van een vast modelcheckpoint dat eruit komt.

Ik realiseerde me tijdens ons evenement in Berlijn dat er veel getalenteerde en ambitieuze jonge mensen in Europa zijn. Gewoon (bijna) geen inspirerend bedrijf om de toekomst te bouwen, noch durven VC's hen een kans te geven. Geen wonder dat iedereen naar sf wil komen|

Open ai zal worden herinnerd als een van de meest inspirerende bedrijven aller tijden.

Ik zie het nut niet in van het definiëren van de batchgrootte op een per GPU-niveau in de codebase. Dit betekent dat je de batchgrootte parameter handmatig moet aanpassen bij het opschalen of afschalen van het experiment. Ik denk dat dit historisch gezien is gedaan in codebases die geen gradient accumulatie hebben?

We zouden ons meer zorgen moeten maken over thinky die alle pytorch mensen inhuurt dan over zuck die mensen van open ai afpakt.

Als je op ICML bent en geïnteresseerd bent in verifieerbare inferentie, zorg er dan voor dat je bij onze poster langs komt! We zullen TOPLOC presenteren, een efficiënte activatie-hashingmethode die werkt in verschillende instellingen, bijvoorbeeld bij het wisselen van inferentiesystemen of zelfs modellen. 16 juli, 16:30, E-1106

Nieuwe blogpost en nieuwe bibliotheek zijn nu beschikbaar! De BP gaat over MaxSim, waarom het *ordes van grootte* veel veeleisender is dan normale cosinusgelijkenis, en waarom GPU's het niet uitmaakt, maar CPU's wel! De bibliotheek is maxsim-cpu, die ervoor zorgt dat CPU's snel kunnen zijn en ook cool blijven.

absolute @kellerjordan0 overwinning

Benieuwd om dit met diloco te proberen, zou nog steeds bs=1 doen op de inner optimizer en nog steeds profiteren van data parallelisme.

ook senioriteit in engineering betekent in staat zijn om te werken met technische schulden van anderen