Il QA manuale non è scalabile per le moderne pipeline di dati: troppo lento, troppo costoso, troppo fragile. @Hivemapper ha inizialmente costruito una grande piattaforma di QA per mappe basata su umani con oltre 20.000 editor umani. Abbiamo eliminato l'85% di questa piattaforma negli ultimi 6 mesi e l'abbiamo sostituita con varie capacità di intelligenza artificiale. Ci sono tre parti chiave della nuova piattaforma AI: 1. Validatori AI I validatori sono responsabili di garantire l'accuratezza dei dati per i limiti di velocità, i prezzi del gas, le restrizioni di altezza verticale, le larghezze delle strade e altro ancora. Fondamentalmente, stanno valutando i compiti che il Bee svolge, e quando il Bee commette un errore, ad esempio, catturando un limite di velocità di 25 mph invece di 35 mph, lo corregge. Vengono eseguiti più modelli e tutti devono raggiungere un consenso. Qui la maggior parte dei modelli AI funziona bene, e abbiamo visto prestazioni eccellenti anche utilizzando modelli più vecchi di OpenAI e Phi. Al momento, non raccomandiamo Claude per questi compiti di validazione AI basati sulla visione. 2. Posizionamento AI Questo è un po' più complicato, ma fondamentalmente vogliamo assicurarci che gli oggetti siano ben posizionati e che i segnali siano associati alle corsie corrette con il corretto azimut. La maggior parte dei modelli AI fondamentali non ha ancora una forte percezione dello spazio tridimensionale, ma ci aspettiamo che questo cambi presto. Kevin Weil, CPO di OpenAI, ha detto: "I modelli AI che stai usando oggi sono i peggiori modelli AI che userai per il resto della tua vita." Il nostro approccio qui è quello di catturare errori di posizionamento ovvi, intendo dire se c'è un limite di velocità in mezzo alla strada, se c'è un palo della luce all'interno dei confini di un edificio, se c'è un segnale di stop non allineato con un incrocio, ecc. Ci sono altre tecniche qui che riserverò per un altro post. 3. Ri-addestramento AI Il Bee sta eseguendo i modelli AI basati su inferenza che costruiscono la mappa ai margini. Tuttavia, prima addestriamo questi modelli nel cloud e la chiave qui è trovare casi limite interessanti che riducano gli errori futuri. Ad esempio, un segnale di limite di velocità di 55 mph attaccato al retro di un camion, come mostrato di seguito, non è un segnale di limite di velocità statico. Il contesto che circonda questi oggetti ci dice molto sugli oggetti stessi e quindi stiamo insegnando ai modelli AI del Bee a comprendere questo contesto. Fondamentalmente, hai bisogno di centinaia di milioni di km di strade coperte per vedere un numero significativo di casi limite. È una buona cosa che Hivemapper abbia questo.