QA manual nu se scalează pentru conductele de date moderne - prea lent, prea scump, prea fragil. @Hivemapper construit inițial o platformă uriașă de date Map QA bazată pe oameni cu > 20.000 de editori umani. Am șters 85% din această platformă în ultimele 6 luni și am înlocuit-o cu diverse capabilități AI. Există trei părți cheie ale noii platforme AI 1. Validatori AI Validatorii sunt responsabili pentru asigurarea acurateței datelor pentru limitele de viteză, prețurile benzinei, restricțiile de înălțime verticală, lățimile drumurilor și multe altele. Practic, ei notează temele pe care le face Albina, iar când albina a făcut o greșeală, să zicem, o limită de viteză a capturat-o ca 25 mph spre deosebire de 35 mph, atunci o corectează. Există mai multe modele care sunt rulate și apoi toate trebuie să ajungă la un consens. Aici, majoritatea modelelor AI funcționează bine și am văzut performanțe excelente chiar și folosind modele mai vechi de la OpenAI și Phi. În acest moment, nu îl recomandăm pe Claude pentru aceste sarcini de validare AI bazate pe viziune. 2. Poziționare AI Acest lucru este puțin mai complicat, dar practic vrem să ne asigurăm că obiectele sunt bine poziționate și că semnele sunt asociate cu benzile corecte cu azimutul corect. Majoritatea modelelor fundamentale de inteligență artificială nu au încă un simț puternic al spațiului tridimensional, dar ne așteptăm ca acest lucru să se schimbe în curând. Kevin Weil, CPO la OpenAI, a declarat: "Modelele AI pe care le utilizați astăzi sunt cele mai proaste modele AI pe care le veți folosi pentru tot restul vieții". Abordarea noastră aici este de a prinde erori evidente de poziționare, adică există o limită de viteză în mijlocul drumului, există un stâlp de utilități în interiorul limitelor unei clădiri, există un semn de oprire care nu este aliniat cu o intersecție etc. Există și alte tehnici aici pe care le voi păstra pentru o altă postare. 3. Re-instruire AI The Bee rulează modelele AI bazate pe inferență care construiesc harta pe margine. Cu toate acestea, mai întâi antrenăm aceste modele în cloud și cheia aici este găsirea cazurilor limită interesante care reduc erorile viitoare. De exemplu, un semn de limită de viteză de 55 mph atașat la spatele unui camion, așa cum se arată mai jos, nu este un semn static de limită de viteză. Contextul din jurul acestor obiecte ne spune multe despre obiectele în sine, așa că învățăm modelele AI ale lui Bee să înțeleagă acest context. În principiu, aveți nevoie de sute de milioane de kilometri de acoperire rutieră pentru a vedea un număr semnificativ de cazuri limită. Este un lucru bun că Hivemapper are asta.