La QA manual no escala para los modernos pipelines de datos: demasiado lenta, demasiado cara, demasiado frágil. @Hivemapper inicialmente construyó una enorme plataforma de datos de QA de mapas basada en humanos con más de 20,000 editores humanos. Eliminamos el 85% de esta plataforma en los últimos 6 meses y la reemplazamos con diversas capacidades de IA. Hay tres partes clave de la nueva plataforma de IA: 1. Validadores de IA Los validadores son responsables de garantizar la precisión de los datos para los límites de velocidad, precios de gasolina, restricciones de altura vertical, anchos de carretera y más. Básicamente, están calificando la tarea que realiza la Abeja, y cuando la Abeja comete un error, por ejemplo, captura un límite de velocidad de 25 mph en lugar de 35 mph, lo corrige. Se ejecutan múltiples modelos y todos deben llegar a un consenso. Aquí, la mayoría de los modelos de IA funcionan bien, y hemos visto un rendimiento excelente incluso utilizando modelos más antiguos de OpenAI y Phi. En este momento, no recomendamos a Claude para estas tareas de validación de IA basadas en visión. 2. Posicionamiento de IA Esto es un poco más complicado, pero básicamente queremos asegurarnos de que los objetos estén bien posicionados y que las señales estén asociadas a los carriles correctos con el azimut correcto. La mayoría de los modelos de IA fundamentales aún no tienen un fuerte sentido del espacio tridimensional, pero esperamos que esto cambie pronto. Kevin Weil, CPO de OpenAI, dijo: "Los modelos de IA que estás utilizando hoy son los peores modelos de IA que usarás por el resto de tu vida.” Nuestro enfoque aquí es detectar errores de posicionamiento obvios, es decir, ¿hay un límite de velocidad en medio de la carretera?, ¿hay un poste de servicios públicos dentro de los límites de un edificio?, ¿hay una señal de alto no alineada con una intersección?, etc. Hay otras técnicas aquí que guardaré para otro post. 3. Reentrenamiento de IA La Abeja está ejecutando los modelos de IA basados en inferencia que construyen el mapa en el borde. Sin embargo, primero entrenamos estos modelos en la nube y la clave aquí es encontrar casos extremos interesantes que reduzcan futuros errores. Por ejemplo, una señal de límite de velocidad de 55 mph adjunta a la parte trasera de un camión, como se muestra a continuación, no es una señal de límite de velocidad estática. El contexto que rodea a estos objetos nos dice mucho sobre los propios objetos, por lo que estamos enseñando a los modelos de IA de la Abeja a entender este contexto. Fundamentalmente, necesitas cientos de millones de kilómetros de carretera cubiertos para ver un número significativo de casos extremos. Es una buena cosa que Hivemapper tenga eso.