Ручное QA не масштабируется для современных потоков данных — слишком медленно, слишком дорого, слишком хрупко. @Hivemapper изначально создал огромную платформу Map QA на основе человеческого труда с более чем 20,000 редакторов. Мы удалили 85% этой платформы за последние 6 месяцев и заменили ее различными возможностями ИИ. Есть три ключевых части новой платформы ИИ: 1. AI Validators Валидаторы отвечают за обеспечение точности данных по ограничениям скорости, ценам на газ, вертикальным ограничениям высоты, ширине дорог и многому другому. Они, по сути, оценивают домашние задания, которые выполняет Пчела, и когда Пчела допустила ошибку, например, зафиксировав ограничение скорости как 25 миль в час вместо 35 миль в час, она это исправляет. Запускается несколько моделей, и все они должны достичь консенсуса. Здесь большинство моделей ИИ работают хорошо, и мы видели отличные результаты, даже используя более старые модели от OpenAI и Phi. В данный момент мы не рекомендуем Claude для этих задач валидации на основе зрения. 2. AI Positioning Это немного сложнее, но в основном мы хотим убедиться, что объекты хорошо расположены, а знаки ассоциированы с правильными полосами с правильным азимутом. Большинство базовых моделей ИИ пока не имеют четкого представления о трехмерном пространстве, но мы ожидаем, что это скоро изменится. Кевин Уэйл, CPO в OpenAI, сказал: "Модели ИИ, которые вы используете сегодня, — это худшие модели ИИ, которые вы будете использовать в течение всей своей жизни." Наш подход здесь заключается в том, чтобы ловить очевидные ошибки позиционирования, то есть есть ли ограничение скорости посреди дороги, есть ли опора для линий электропередач внутри границ здания, есть ли знак остановки, не выровненный с перекрестком и т.д. Есть и другие техники, о которых я расскажу в другом посте. 3. AI Re-Training Пчела запускает модели ИИ на основе вывода, которые строят карту на краю. Однако сначала мы обучаем эти модели в облаке, и ключевым моментом здесь является нахождение интересных крайних случаев, которые уменьшают будущие ошибки. Например, знак ограничения скорости 55 миль в час, прикрепленный к задней части грузовика, как показано ниже, не является статичным знаком ограничения скорости. Контекст, окружающий эти объекты, многое говорит нам об этих объектах, и поэтому мы обучаем модели ИИ Пчелы понимать этот контекст. В основном, вам нужно покрытие сотен миллионов километров дорог, чтобы увидеть значительное количество крайних случаев. Хорошо, что у Hivemapper это есть.