QA manual tidak diskalakan untuk alur data modern—terlalu lambat, terlalu mahal, terlalu rapuh. @Hivemapper awalnya membangun platform data Map QA berbasis manusia yang besar dengan > 20.000 editor manusia. Kami menghapus 85% dari platform ini selama 6 bulan terakhir dan menggantinya dengan berbagai kemampuan AI. Ada tiga bagian penting dari platform AI baru 1. Validator AI Validator bertanggung jawab untuk memastikan akurasi data untuk batas kecepatan, harga gas, batasan ketinggian vertikal, lebar jalan, dan banyak lagi. Mereka pada dasarnya menilai pekerjaan rumah yang dilakukan Bee, dan ketika Bee membuat kesalahan dalam katakanlah batas kecepatan menangkapnya sebagai 25 mph dibandingkan dengan 35 mph maka ia memperbaikinya. Ada beberapa model yang dijalankan dan kemudian semuanya perlu mencapai konsensus. Di sini sebagian besar model AI berkinerja baik, dan kami telah melihat kinerja yang sangat baik bahkan menggunakan model lama dari OpenAI dan Phi. Saat ini, kami tidak merekomendasikan Claude untuk tugas validasi AI berbasis visi ini. 2. Pemosisian AI Ini sedikit lebih rumit, tetapi pada dasarnya kami ingin memastikan bahwa objek diposisikan dengan baik dan tanda-tanda dikaitkan dengan jalur yang benar dengan azimuth yang benar. Sebagian besar model AI dasar belum memiliki rasa ruang tiga dimensi yang kuat, tetapi kami berharap ini akan segera berubah. Kevin Weil, CPO di OpenAI mengatakan, "Model AI yang Anda gunakan saat ini adalah model AI terburuk yang akan Anda gunakan selama sisa hidup Anda." Pendekatan kami di sini adalah untuk menangkap kesalahan pemosisian yang jelas dengan maksud saya apakah ada batas kecepatan di tengah jalan, apakah ada tiang utilitas di dalam batas bangunan, apakah ada tanda berhenti yang tidak sejajar dengan persimpangan, dll. Ada teknik lain di sini yang akan saya simpan untuk posting lain. 3. Pelatihan Ulang AI The Bee menjalankan model AI berbasis inferensi yang membangun peta di tepi. Namun, pertama-tama kami melatih model-model ini di cloud dan kuncinya di sini adalah menemukan kasus tepi yang menarik yang mengurangi kesalahan di masa mendatang. Misalnya, tanda batas kecepatan 55 mph yang dipasang di bagian belakang truk seperti yang ditunjukkan di bawah ini bukanlah tanda batas kecepatan statis. Konteks seputar objek ini memberi tahu kita banyak tentang objek itu sendiri dan jadi kami mengajarkan model AI Lebah untuk memahami konteks ini. Pada dasarnya, Anda memerlukan ratusan juta cakupan km jalan untuk melihat jumlah kasus tepi yang berarti. Untung Hivemapper memilikinya.