Jag är mycket mer benägen att säga att RL *systemet* inuti OpenAI är AGI snarare än någon fast modell checkpoint som kommer ut ur den

Jag insåg vid vårt Berlin-evenemang att det finns många begåvade och ambitiösa unga människor i Europa. Bara (nästan) inget inspirerande företag för att bygga framtiden eller riskkapital som har bollarna att ge dem en chans. Inte undra på varför alla vill Kom till SF|

Open ai kommer att bli ihågkommet som ett av de mest inspirerande företagen genom tiderna

Jag ser inte poängen med att kodbasen definierar batchstorlek på en per gpu-nivå. Det innebär att du måste ändra parametern för batchstorlek manuellt när du skalar upp/ned experimentet. Jag antar att historiskt gjort i kodbas som inte har grad acc?

Vi borde vara mer oroliga för att tänka anställa alla pytorch ppl än zuck tjuvjakt från öppen ai

Om du är på ICML och intresserad av verifierbar inferens, se till att stanna till vid vår affisch! Vi kommer att presentera TOPLOC, en effektiv aktiveringshashmetod som fungerar över en mängd olika inställningar, t.ex. switchinginferensinställningar eller till och med modeller. 16 juli, 16:30, E-1106

Nytt blogginlägg och nytt bibliotek är ute nu! BP handlar om MaxSim, varför det är * storleksordningar * mycket mer krävande än normal cosinuslikhet, och varför GPU:er inte bryr sig, men CPU:er gör! Biblioteket är maxsim-cpu, vilket gör det så att processorer kan vara snabba och spela det coolt också.

Absolut @kellerjordan0 seger

Nyfiken på att prova detta med diloco, skulle fortfarande göra bs=1 på den inre optimeraren och fortfarande få fördelar med dataparallellitet

Tjänstgöringstid inom teknik är också att kunna arbeta med teknisk skuld hos andra