Ручне QA не масштабується для сучасних конвеєрів даних — занадто повільно, занадто дорого, занадто крихко. Спочатку @Hivemapper створив величезну платформу даних Map QA на основі людини з > 20 000 редакторів-людей. За останні 6 місяців ми видалили 85% цієї платформи та замінили її різними можливостями штучного інтелекту. Нова платформа штучного інтелекту складається з трьох ключових частин 1. Валідатори штучного інтелекту Валідатори відповідають за забезпечення точності даних про обмеження швидкості, ціни на бензин, обмеження вертикальної висоти, ширину дороги тощо. Вони в основному оцінюють домашнє завдання, яке виконує Бджола, і коли Бджола зробила помилку, скажімо, обмеження швидкості, зафіксувало її як 25 миль на годину, а не 35 миль на годину, тоді вона виправляє це. Існує кілька моделей, які запускаються, і всі вони повинні досягти консенсусу. Тут більшість моделей штучного інтелекту працюють добре, і ми бачили чудову продуктивність навіть при використанні старих моделей від OpenAI та Phi. На даний момент ми не рекомендуємо Клода для цих завдань перевірки штучного інтелекту на основі зору. 2. Позиціонування штучного інтелекту Це трохи складніше, але в основному ми хочемо переконатися, що об'єкти добре розташовані, а знаки пов'язані з правильними смугами з правильним азимутом. Більшість базових моделей штучного інтелекту ще не мають сильного відчуття тривимірного простору, але ми очікуємо, що це скоро зміниться. Кевін Вейл, CPO в OpenAI, сказав: «Моделі штучного інтелекту, які ви використовуєте сьогодні, є найгіршими моделями штучного інтелекту, які ви будете використовувати до кінця свого життя». Наш підхід тут полягає в тому, щоб вловити очевидні помилки позиціонування, тобто чи є обмеження швидкості посеред дороги, чи є стовп комунального господарства всередині будівлі, чи є знак зупинки, не вирівняний з перехрестям тощо. Тут є й інші прийоми, які я збережу для іншого посту. 3. Перенавчання ШІ Bee використовує моделі штучного інтелекту на основі висновків, які будують карту на периферії. Однак спочатку ми тренуємо ці моделі в хмарі, і ключовим моментом тут є пошук цікавих крайніх випадків, які зменшують кількість помилок у майбутньому. Наприклад, знак обмеження швидкості 55 миль на годину, прикріплений до задньої частини вантажівки, як показано нижче, не є статичним знаком обмеження швидкості. Контекст, що оточує ці об'єкти, багато говорить нам про самі об'єкти, тому ми навчаємо моделі штучного інтелекту Bee розуміти цей контекст. По суті, вам потрібне покриття сотень мільйонів кілометрів доріг, щоб побачити значну кількість крайніх випадків. Добре, що у Hivemapper це є.