Handmatige QA schaalt niet voor moderne datastromen—te traag, te duur, te kwetsbaar. @Hivemapper heeft aanvankelijk een enorm op mensen gebaseerd Map QA dataplatform gebouwd met > 20.000 menselijke redacteuren. We hebben 85% van dit platform in de afgelopen 6 maanden verwijderd en vervangen door verschillende AI-capaciteiten. Er zijn drie belangrijke onderdelen van het nieuwe AI-platform: 1. AI Validators Validators zijn verantwoordelijk voor het waarborgen van de gegevensnauwkeurigheid voor snelheidslimieten, brandstofprijzen, verticale hoogtebeperkingen, wegbreedtes, en meer. Ze beoordelen eigenlijk het huiswerk dat de Bee doet, en wanneer de Bee een fout maakt, bijvoorbeeld een snelheidslimiet vastlegt als 25 mph in plaats van 35 mph, dan corrigeert het dat. Er worden meerdere modellen uitgevoerd en al deze moeten consensus bereiken. Hier presteren de meeste AI-modellen goed, en we hebben uitstekende prestaties gezien, zelfs met oudere modellen van OpenAI en Phi. Op dit moment raden we Claude niet aan voor deze op visie gebaseerde AI-validatietaken. 2. AI Positionering Dit is iets lastiger, maar in wezen willen we ervoor zorgen dat de objecten goed gepositioneerd zijn en dat de borden aan de juiste rijstroken zijn gekoppeld met de juiste azimut. De meeste fundamentele AI-modellen hebben nog niet echt een sterk gevoel voor driedimensionale ruimte, maar we verwachten dat dit binnenkort zal veranderen. Kevin Weil, CPO bij OpenAI, zei: "De AI-modellen die je vandaag gebruikt, zijn de slechtste AI-modellen die je de rest van je leven zult gebruiken." Onze aanpak hier is om duidelijke positioneringsfouten op te vangen, dat wil zeggen, is er een snelheidslimiet midden op de weg, staat er een elektriciteitspaal binnen de grenzen van een gebouw, staat er een stopbord niet uitgelijnd met een kruising, enz. Er zijn andere technieken hier die ik voor een andere post zal bewaren. 3. AI Hertraining De Bee draait de op inferentie gebaseerde AI-modellen die de kaart aan de rand opbouwen. We trainen deze modellen echter eerst in de cloud en de sleutel hier is het vinden van interessante randgevallen die toekomstige fouten verminderen. Bijvoorbeeld, een snelheidslimietbord van 55 mph dat aan de achterkant van een vrachtwagen is bevestigd, zoals hieronder weergegeven, is geen statisch snelheidslimietbord. De context rondom deze objecten vertelt ons veel over de objecten zelf en daarom leren we de AI-modellen van de Bee deze context te begrijpen. Fundamentaal heb je honderden miljoenen weg-km dekking nodig om een betekenisvol aantal randgevallen te zien. Het is een goede zaak dat Hivemapper dat heeft.