Adicionando uma boa maneira de visualizar o objetivo PPO ao livro rlhf. O núcleo para o gradiente de política é L ~ R * A (R = proporção de política, A = vantagem). Torne as boas ações mais prováveis até certo ponto. Torne as más ações menos prováveis até certo ponto. O sinal min(...), & de adv determina qual linha.

Qual é o próximo muro que as pessoas estão reivindicando para a IA? Primeiro ficamos sem dados, então RL não generalizaria fora de matemática / código, o que vem a seguir? Apenas a parede real parece ser a disponibilidade de computação.

Eu sinto o mesmo, mas a fronteira que estou empurrando está sendo compartilhada com todos, não apenas com algumas grandes empresas de tecnologia.

O objetivo disso é evitar psyops para não tirar uma conquista técnica óbvia e importante, vamos lá fam que eu não odeie IA tantos haters nas respostas

Muitas pessoas com quem conversei não estão tão preocupadas com o que o Grok está fazendo porque sabem que os modelos Grok são sempre esquecidos algumas semanas após o lançamento 🪦 💀

Não caindo na postagem vaga da OpenAI sobre o novo modelo de ouro da IMO com "RL de uso geral" e qualquer outra "descoberta". O Google também recebeu ouro IMO (mais difícil do que dominar o AIME), mas lembre-se, ideias simples escalam melhor.

A OpenAI alcançou RL de episódios muito longos com este modelo experimental? Captura de tela do artigo de @natolambert sobre "O que vem a seguir com o aprendizado por reforço". Nathan diz neste artigo - Onde os métodos atuais estão gerando 10K-100K tokens por resposta para problemas de matemática ou código durante o treinamento, o tipo de problema que as pessoas discutem aplicando o treinamento RL da próxima geração seria de 1M-100M tokens por resposta. Isso envolve o encapsulamento de várias chamadas de inferência, prompts e interações com um ambiente em um episódio em relação ao qual a política é atualizada. Talvez este avanço seja uma combinação de ambos - RL de episódios muito longos e escalando TTC para 1M-100M tokens por resposta!

É "ruim" que todo mundo esteja destilando / treinando em modelos chineses? Embora não seja diretamente ruim, há um grande componente de soft power. Muitas conclusões que falam sobre os ideais socialistas chineses / valores da RPC que se infiltram em futuros modelos de IA / se espalham por toda a internet.

hahahahahahaha os principais modelos abertos dos EUA são gemma 3 27b e @nvidia de lhama 3.1

É uma grande falha política que os EUA não possam acomodar as principais conferências de IA devido a problemas de visto.