Estou muito mais inclinado a dizer que o *sistema* RL dentro da OpenAI é AGI, em vez de qualquer ponto de verificação de modelo fixo que saia dele.

Percebi no nosso evento em Berlim que há muitos jovens talentosos e ambiciosos na Europa. Apenas (quase) nenhuma empresa inspiradora para construir o futuro nem VCs que tenham coragem de lhes dar uma oportunidade. Não é de admirar que todos queiram vir para sf|

A OpenAI será lembrada como uma das empresas mais inspiradoras de todos os tempos.

Não vejo o sentido de definir o tamanho do lote a nível de cada GPU na base de código. Isso significa que é necessário alterar o parâmetro do tamanho do lote manualmente ao aumentar/diminuir a escala do experimento. Acho que historicamente isso foi feito em bases de código que não têm acumulação de gradientes?

Devemos estar mais preocupados com a Thinky a contratar todas as pessoas do PyTorch do que com o Zuck a recrutar da OpenAI.

Se você estiver na ICML e estiver interessado em inferência verificável, não deixe de passar pelo nosso pôster! Apresentaremos o TOPLOC, um método eficiente de hashing de ativações que funciona em uma variedade de configurações, por exemplo, alternando entre configurações de inferência ou até mesmo modelos. 16 de julho, 16:30, E-1106

Novo post no blog e nova biblioteca já disponíveis! O BP é sobre o MaxSim, por que é *ordens de magnitude* muito mais exigente do que a similaridade cosseno normal, e por que as GPUs não se importam, mas as CPUs sim! A biblioteca é maxsim-cpu, que permite que as CPUs sejam rápidas e também se mantenham tranquilas.

vitória absoluta @kellerjordan0

Curioso para experimentar isto com diloco, ainda faria bs=1 no otimizador interno e ainda obteria benefícios do paralelismo de dados.

também a senioridade em engenharia é ser capaz de trabalhar com a dívida técnica de outros