為什麼低嚴重性發現比關鍵錯誤更能反映您的審計 許多審計公司在銷售時專注於發現的高嚴重性數量,彷彿這個數字沒有上下文的情況下就有意義:之前的審計、同行評審、測試覆蓋率、代碼複雜性、行數以及許多其他指標。這是最低級的銷售手法,與例如通過長度來比較 USB 驅動器的質量並無不同。 為了展示一個替代方案,我們首先必須確認幾個支持性主張的正確性: - 意外錯誤注入的概率對於高影響沒有偏見(開發者在高風險代碼中並不會更魯莽,通常情況正好相反)。 - 用於發現各種嚴重性缺陷的全面方法論也會發現高嚴重性問題(反之則不成立)。 - 隨機錯誤要符合高嚴重性的要求要高得多(通常會被無法達到的條件限制,或涉及非關鍵功能)。 - 根據基本統計學:更高的抽樣率與較低的預期偏差/變異相關,因此測量更準確。 讓我們將審計報告定義為對代碼庫質量的抽樣結果。我們推斷,預期的真實(無遺漏)高嚴重性數量遠低於低嚴重性數量,且其周圍的預期偏差要高得多(因為樣本較小)。換句話說,高嚴重性數量對於遺漏的高嚴重性數量告訴我們的資訊非常有限。 因此,令人驚訝的是,1個高嚴重性,10個低嚴重性的報告在其他條件相同的情況下比10個高嚴重性,1個低嚴重性的報告更令人安心。雖然事實上絕大多數銷售人員會更願意展示後者作為質量的指標。重點是,高頻指標是衡量低頻結果的更好工具。 Web3 建設者,下次當公司向您展示他們的關鍵/高嚴重性數量和 X 億美元的安全資金時,您知道該專注於哪裡以尋找真正的信號。 Web3 審計員,認識到沒有一致的秘密公式可以在不尋找低嚴重性的情況下找到所有高嚴重性 - 每一個未完全調查的低嚴重性都是潛在的高嚴重性 - 並且給予每一行最好的關注。您的客戶會感謝您。 低嚴重性被定義為不會導致更高層次影響的具體編碼錯誤。不包括格式、最佳實踐和填充發現。
4.31K