Varför resultat med låg allvarlighetsgrad säger mer om din revision än kritiska buggar Många revisionsbyråer fokuserar sin säljpitch på antalet upptäckta toppar som om denna siffra inte bara är brus utan att koppla in sammanhanget: tidigare revisioner, peer review, testtäckningsnivåer, kodkomplexitet, radantal och många andra mätvärden. Det är den lägsta formen av försäljning, som inte skiljer sig från att jämföra till exempel USB-enheternas kvalitet med deras längd i millimeter. För att visa på ett alternativ måste vi först hävda riktigheten av flera stödjande påståenden: - Sannolikheten för oavsiktlig felinjektion har ingen bias mot högre effekter (utvecklare är inte mer hänsynslösa i kod med höga insatser, vanligtvis tvärtom). - Samma omfattande metoder som används för att upptäcka brister av olika svårighetsgrad skulle också upptäcka problem med hög allvarlighetsgrad (motsatsen gäller inte). - Det finns mycket högre krav för att en slumpmässig bugg ska kvalificera sig som hög allvarlighetsgrad (ofta skulle den vara gated bakom ouppnåeliga villkor eller röra icke-kritiska funktioner). - Från grundläggande statistik: högre samplingsfrekvens korrelerar med lägre förväntad avvikelse/varians och därmed en mer exakt mätning. Låt oss definiera en revisionsrapport som ett resultat av att sampla kvaliteten på en kodbas. Vi drar slutsatsen att det förväntade sanna (inga missar) antalet toppar är mycket lägre än dalar, och den förväntade avvikelsen runt det är mycket högre (på grund av mindre urval). Med andra ord säger antalet toppar väldigt lite om antalet missade toppar. Så överraskande nog är en rapport om 1 hög, 10 dalar mer betryggande än en rapport om 10 toppar, 1 låg allt annat lika. Även om de allra flesta säljare faktiskt skulle föredra att visa det senare som en indikation på kvalitet. Poängen är att ett högfrekvent mått är ett bättre verktyg för att mäta lågfrekventa resultat. Web3-byggare, nästa gång företag viftar med sina Crit/High-räkningar och X miljarder dollar säkrad linje, vet du var du ska fokusera för att söka efter sann signal. Web3-revisorer, inse att det inte finns någon konsekvent hemlig formel för att hitta alla toppar utan att också söka efter dalar - varje låg som inte är fullständigt undersökt är en potentiell hög - och ge din bästa uppmärksamhet till varje enskild rad. Din kund kommer att tacka dig för det. Låg allvarlighetsgrad definieras som konkreta kodningsfel som inte leder till påverkan på högre nivå. Inkluderar inte formatering, bästa praxis och utfyllnadsresultat.