Pourquoi les constatations de faible gravité en disent plus sur votre audit que les bugs critiques De nombreuses entreprises d'audit axent leur argumentaire de vente sur le nombre de problèmes critiques trouvés, comme si ce chiffre n'était qu'un bruit sans contexte : audits précédents, revue par les pairs, niveaux de couverture des tests, complexité du code, nombre de lignes et bien d'autres métriques. C'est la forme la plus basse de vente, pas différente de la comparaison, par exemple, de la qualité des clés USB par leur longueur en millimètres. Pour montrer une alternative, nous devons d'abord affirmer la justesse de plusieurs affirmations de soutien : - La probabilité d'injection accidentelle de bugs n'a pas de biais vers des impacts plus élevés (les développeurs ne sont pas plus imprudents dans un code à enjeux élevés, généralement c'est l'inverse). - Les mêmes méthodologies complètes utilisées pour découvrir des défauts de diverses gravités découvriraient également des problèmes de haute gravité (l'inverse n'est pas vrai). - Il y a des exigences beaucoup plus élevées pour qu'un bug aléatoire soit qualifié de haute gravité (souvent, il serait conditionné par des conditions inaccessibles ou toucherait des fonctionnalités non critiques). - D'après des statistiques de base : un taux d'échantillonnage plus élevé est corrélé à une déviation/variance attendue plus faible et donc à une mesure plus précise. Définissons un rapport d'audit comme le résultat d'un échantillonnage de la qualité d'une base de code. Nous déduisons que le nombre vrai attendu (sans omissions) de problèmes critiques est beaucoup plus bas que celui des problèmes de faible gravité, et que la déviation attendue autour de celui-ci est beaucoup plus élevée (en raison d'un échantillon plus petit). En d'autres termes, le nombre de problèmes critiques nous en dit très peu sur le nombre de problèmes critiques manqués. Ainsi, de manière surprenante, un rapport de 1 problème critique et 10 problèmes de faible gravité est plus rassurant qu'un rapport de 10 problèmes critiques et 1 problème de faible gravité, toutes choses étant égales par ailleurs. Bien que, en fait, la grande majorité des vendeurs préféreraient montrer ce dernier comme une indication de qualité. Le point est qu'une métrique à haute fréquence est un meilleur outil pour mesurer des résultats à faible fréquence. Constructeurs de Web3, la prochaine fois que des entreprises vous montrent leurs comptes Crit/High et X milliards de $ sécurisés, vous savez où vous concentrer pour rechercher le véritable signal. Auditeurs de Web3, reconnaissez qu'il n'existe pas de formule secrète cohérente pour trouver tous les problèmes critiques sans également rechercher les problèmes de faible gravité - chaque problème de faible gravité non entièrement examiné est un potentiel problème critique - et accordez votre meilleure attention à chaque ligne. Votre client vous en remerciera. La faible gravité est définie comme des erreurs de codage concrètes qui ne résultent pas en impacts de niveau supérieur. N'inclut pas le formatage, les meilleures pratiques et les constatations accessoires.