Manuell QA skalas inte för moderna datapipelines – för långsamt, för dyrt, för sprött. @Hivemapper byggde först en enorm människobaserad plattform för kart-QA-data med > 20 000 mänskliga redigerare. Vi raderade 85 % av den här plattformen under de senaste 6 månaderna och ersatte den med olika AI-funktioner. Det finns tre viktiga delar i den nya AI-plattformen 1. AI-validerare Validerare ansvarar för att säkerställa att uppgifterna är korrekta när det gäller hastighetsbegränsningar, bensinpriser, begränsningar för vertikal höjd, vägbredder med mera. De betygsätter i princip de läxor som biet gör, och när biet gjorde ett fel i till exempel en hastighetsbegränsning fångade det som 25 mph i motsats till 35 mph så korrigerar det det. Det finns flera modeller som körs och sedan måste alla nå konsensus. Här presterar de flesta AI-modellerna bra, och vi har sett utmärkt prestanda även med äldre modeller från OpenAI och Phi. För närvarande rekommenderar vi inte Claude för dessa synbaserade AI-valideringsuppgifter. 2. AI-positionering Det är lite knepigare, men i grund och botten vill vi se till att objekten är väl placerade och att skyltarna är kopplade till rätt körfält med rätt azimut. De flesta av de grundläggande AI-modellerna har ännu inte en stark känsla av tredimensionellt utrymme, men vi förväntar oss att detta kommer att förändras snart. Kevin Weil, CPO på OpenAI sa: "De AI-modeller du använder idag är de sämsta AI-modellerna du kommer att använda resten av ditt liv." Vårt tillvägagångssätt här är att fånga upp uppenbara positioneringsfel, det vill säga om det finns en hastighetsbegränsning mitt på vägen, om det finns en elstolpe inom gränserna för en byggnad, om det finns en stoppskylt som inte är i linje med en korsning osv. Det finns andra tekniker här som jag sparar till ett annat inlägg. 3. Omskolning av AI Biet kör de inferensbaserade AI-modellerna som bygger kartan på kanten. Vi tränar dock först dessa modeller i molnet och nyckeln här är att hitta intressanta gränsfall som minskar framtida fel. Till exempel är en hastighetsskylt på 55 mph som är fäst på baksidan av en lastbil som visas nedan inte en statisk hastighetsbegränsningsskylt. Kontexten som omger dessa objekt berättar mycket om själva objekten och därför lär vi Bees AI-modeller att förstå detta sammanhang. I grund och botten behöver du hundratals miljoner vägkilometer för att se ett meningsfullt antal gränsfall. Det är bra att Hivemapper har det.