Mengapa Temuan Tingkat Keparahan Rendah Mengatakan Lebih Banyak Tentang Audit Anda Daripada Bug Kritis Banyak perusahaan audit memfokuskan promosi penjualan mereka pada jumlah Tertinggi yang ditemukan seolah-olah angka ini bukan hanya kebisingan tanpa memasukkan konteks: audit sebelumnya, tinjauan sejawat, tingkat cakupan pengujian, kompleksitas kode, jumlah baris, dan banyak metrik lainnya. Ini adalah bentuk penjualan terendah, tidak berbeda dengan membandingkan misalnya kualitas drive USB dengan panjangnya dalam milimeter. Untuk menunjukkan alternatif, pertama-tama kita harus menegaskan kebenaran beberapa klaim pendukung: - Probabilitas injeksi bug yang tidak disengaja tidak memiliki bias terhadap dampak yang lebih tinggi (pengembang tidak lebih sembrono dalam kode berisiko tinggi, biasanya sebaliknya). - Metodologi komprehensif yang sama yang digunakan untuk menemukan kelemahan dengan berbagai tingkat keparahan juga akan menemukan masalah tingkat keparahan tinggi (sebaliknya tidak berlaku). - Ada persyaratan yang jauh lebih tinggi agar bug acak memenuhi syarat sebagai tingkat keparahan tinggi (seringkali akan dijaga di belakang kondisi yang tidak dapat dijangkau, atau menyentuh fungsionalitas non-kritis). - Dari statistik dasar: laju pengambilan sampel yang lebih tinggi berkorelasi dengan deviasi/varians yang diharapkan lebih rendah dan dengan demikian pengukuran yang lebih akurat. Mari kita definisikan laporan audit sebagai hasil pengambilan sampel kualitas basis kode. Kami menyimpulkan bahwa jumlah Tertinggi yang diharapkan jauh lebih rendah daripada Terendah, dan penyimpangan yang diharapkan di sekitarnya jauh lebih tinggi (karena sampel yang lebih kecil). Dengan kata lain, jumlah Tertinggi memberi tahu kita sangat sedikit tentang jumlah tertinggi yang terlewatkan. Jadi mengejutkan, laporan 1 Tinggi, 10 Terendah lebih meyakinkan daripada laporan 10 Tertinggi, 1 Rendah semua yang lain sama. Meskipun sebenarnya sebagian besar penjual lebih suka menunjukkan yang terakhir sebagai indikasi kualitas. Intinya adalah bahwa metrik frekuensi tinggi adalah alat yang lebih baik untuk mengukur hasil frekuensi rendah. Pembuat Web3, lain kali perusahaan melambaikan tangan kepada Anda hitungan Crit / High dan X miliar $ garis yang diamankan, Anda tahu di mana harus fokus untuk mencari sinyal yang sebenarnya. Auditor Web3, kenali tidak ada formula rahasia yang konsisten untuk menemukan semua Tertinggi tanpa juga mencari Rendah - setiap Rendah yang tidak sepenuhnya diselidiki adalah potensi Tinggi - dan berikan perhatian terbaik Anda pada setiap baris. Klien Anda akan berterima kasih untuk itu. Tingkat keparahan rendah didefinisikan sebagai kesalahan pengkodean konkret yang tidak menghasilkan dampak tingkat yang lebih tinggi. Tidak termasuk pemformatan, praktik terbaik, dan temuan pengisi.