Nova postagem no blog sobre assimetria de verificação e "lei do verificador": A assimetria de verificação – a ideia de que algumas tarefas são muito mais fáceis de verificar do que resolver – está se tornando uma ideia importante, pois temos RL que finalmente funciona em geral. Grandes exemplos de assimetria de verificação são coisas como quebra-cabeças de sudoku, escrever o código para um site como o instagram e problemas de BrowseComp (leva ~ 100 sites para encontrar a resposta, mas fácil de verificar quando você tiver a resposta). Outras tarefas têm quase simetria de verificação, como somar dois números de 900 dígitos ou alguns scripts de processamento de dados. No entanto, outras tarefas são muito mais fáceis de propor soluções viáveis do que verificá-las (por exemplo, verificar os fatos de um longo ensaio ou declarar uma nova dieta como "só coma bisões"). Uma coisa importante a entender sobre a assimetria de verificação é que você pode melhorar a assimetria fazendo algum trabalho com antecedência. Por exemplo, se você tiver a chave de resposta para um problema de matemática ou se tiver casos de teste para um problema do Leetcode. Isso aumenta muito o conjunto de problemas com a assimetria de verificação desejável. A "lei do verificador" afirma que a facilidade de treinar a IA para resolver uma tarefa é proporcional à verificabilidade da tarefa. Todas as tarefas possíveis de resolver e fáceis de verificar serão resolvidas pela IA. A capacidade de treinar a IA para resolver uma tarefa é proporcional ao fato de a tarefa ter as seguintes propriedades: 1. Verdade objetiva: todos concordam com o que são boas soluções 2. Rápido de verificar: qualquer solução pode ser verificada em poucos segundos 3. Escalável para verificar: muitas soluções podem ser verificadas simultaneamente 4. Baixo ruído: a verificação está o mais fortemente correlacionada possível com a qualidade da solução 5. Recompensa contínua: é fácil classificar a bondade de muitas soluções para um único problema Uma instância óbvia da lei do verificador é o fato de que a maioria dos benchmarks propostos na IA são fáceis de verificar e até agora foram resolvidos. Observe que praticamente todos os benchmarks populares nos últimos dez anos se encaixam nos critérios #1-4; Os benchmarks que não atendem aos critérios # 1-4 teriam dificuldade em se tornar populares. Por que a verificabilidade é tão importante? A quantidade de aprendizado em IA que ocorre é maximizada quando os critérios acima são satisfeitos; Você pode dar muitas etapas de gradiente, onde cada etapa tem muito sinal. A velocidade da iteração é crítica - é a razão pela qual o progresso no mundo digital tem sido muito mais rápido do que o progresso no mundo físico. O AlphaEvolve do Google é um dos maiores exemplos de como alavancar a assimetria de verificação. Ele se concentra em configurações que atendem a todos os critérios acima e levou a uma série de avanços na matemática e em outros campos. Diferente do que temos feito em IA nas últimas duas décadas, é um novo paradigma em que todos os problemas são otimizados em um ambiente em que o conjunto de trens é equivalente ao conjunto de testes. A assimetria de verificação está em toda parte e é emocionante considerar um mundo de inteligência irregular onde qualquer coisa que possamos medir será resolvida.