Por que as descobertas de baixa gravidade dizem mais sobre a sua auditoria do que bugs críticos Muitas empresas de auditoria focam seu discurso de vendas no número de problemas críticos encontrados, como se esse número não fosse apenas ruído sem considerar o contexto: auditorias anteriores, revisão por pares, níveis de cobertura de testes, complexidade do código, contagem de linhas e muitas outras métricas. É a forma mais baixa de vendas, não diferente de comparar, por exemplo, a qualidade de um pen drive pelo seu comprimento em milímetros. Para mostrar uma alternativa, primeiro devemos afirmar a correção de várias alegações de apoio: - A probabilidade de injeção acidental de bugs não tem viés em relação a impactos mais altos (os desenvolvedores não são mais imprudentes em códigos de alto risco, geralmente é o oposto). - As mesmas metodologias abrangentes usadas para descobrir falhas de várias gravidades também descobririam problemas de alta gravidade (o oposto não se sustenta). - Existem requisitos muito mais altos para que um bug aleatório se qualifique como de alta gravidade (frequentemente estaria condicionado a condições inatingíveis ou afetaria funcionalidades não críticas). - A partir de estatísticas básicas: uma taxa de amostragem mais alta correlaciona-se com uma menor expectativa de desvio/variância e, portanto, uma medição mais precisa. Vamos definir um relatório de auditoria como o resultado da amostragem da qualidade de uma base de código. Deduza-se que o número verdadeiro esperado (sem omissões) de problemas críticos é muito menor do que o de problemas de baixa gravidade, e a expectativa de desvio em torno disso é muito maior (devido à amostra menor). Em outras palavras, o número de problemas críticos nos diz muito pouco sobre o número de problemas críticos não detectados. Assim, surpreendentemente, um relatório de 1 problema crítico e 10 problemas de baixa gravidade é mais tranquilizador do que um relatório de 10 problemas críticos e 1 problema de baixa gravidade, todas as outras coisas sendo iguais. Embora, na verdade, a vasta maioria dos vendedores preferiria mostrar o último como uma indicação de qualidade. O ponto é que uma métrica de alta frequência é uma ferramenta melhor para medir resultados de baixa frequência. Construtores de Web3, da próxima vez que as empresas lhe apresentarem suas contagens de Críticos/Altos e X bilhões de dólares garantidos, você sabe onde focar para buscar o verdadeiro sinal. Auditores de Web3, reconheçam que não existe uma fórmula secreta consistente para encontrar todos os problemas críticos sem também buscar os de baixa gravidade - cada problema de baixa gravidade não totalmente investigado é um potencial problema crítico - e dêem sua melhor atenção a cada linha. Seu cliente agradecerá por isso. Baixa gravidade é definida como erros de codificação concretos que não resultam em impactos de nível superior. Não inclui formatação, melhores práticas e descobertas superficiais.