A QA manual não escala para pipelines de dados modernos—muito lenta, muito cara, muito frágil. @Hivemapper inicialmente construiu uma enorme plataforma de QA de Mapas baseada em humanos com mais de 20.000 editores humanos. Eliminámos 85% desta plataforma nos últimos 6 meses e substituímo-la por várias capacidades de IA. Existem três partes principais da nova plataforma de IA: 1. Validadores de IA Os validadores são responsáveis por garantir a precisão dos dados para limites de velocidade, preços de gasolina, restrições de altura vertical, larguras de estrada e mais. Eles estão basicamente avaliando o trabalho que a Abelha faz, e quando a Abelha comete um erro, por exemplo, capturando um limite de velocidade como 25 mph em vez de 35 mph, então ela corrige. Existem múltiplos modelos que são executados e todos precisam chegar a um consenso. Aqui, a maioria dos modelos de IA tem um bom desempenho, e vimos um desempenho excelente mesmo usando modelos mais antigos da OpenAI e Phi. Neste momento, não recomendamos o Claude para essas tarefas de validação de IA baseadas em visão. 2. Posicionamento de IA Isto é um pouco mais complicado, mas basicamente queremos garantir que os objetos estão bem posicionados e que os sinais estão associados às faixas corretas com o azimute correto. A maioria dos modelos de IA fundamentais ainda não tem um forte senso de espaço tridimensional, mas esperamos que isso mude em breve. Kevin Weil, CPO da OpenAI, disse: "Os modelos de IA que você está usando hoje são os piores modelos de IA que você usará pelo resto da sua vida." Nossa abordagem aqui é capturar erros de posicionamento óbvios, ou seja, há um limite de velocidade no meio da estrada, há um poste de utilidade dentro dos limites de um edifício, há um sinal de pare não alinhado com uma interseção, etc. Existem outras técnicas aqui que guardarei para outro post. 3. Re-treinamento de IA A Abelha está executando os modelos de IA baseados em inferência que constroem o mapa na borda. No entanto, primeiro treinamos esses modelos na nuvem e a chave aqui é encontrar casos extremos interessantes que reduzam erros futuros. Por exemplo, um sinal de limite de velocidade de 55 mph preso na parte de trás de um caminhão, como mostrado abaixo, não é um sinal de limite de velocidade estático. O contexto que envolve esses objetos nos diz muito sobre os próprios objetos e, portanto, estamos ensinando os modelos de IA da Abelha a entender esse contexto. Fundamentalmente, você precisa de centenas de milhões de km de estrada cobertos para ver um número significativo de casos extremos. É uma boa coisa que a Hivemapper tenha isso.