手動QAは、遅すぎる、コストがかかりすぎる、脆弱すぎるなど、最新のデータパイプラインには対応できません。 @Hivemapper当初、>20,000人の人間の編集者を擁する、人間ベースの巨大なMap QAデータプラットフォームを構築しました。過去6か月間でこのプラットフォームの85%を削除し、さまざまなAI機能に置き換えました。 新しいAIプラットフォームには、3つの主要な部分があります 1. AIバリデーター バリデーターは、制限速度、ガソリン価格、垂直方向の高さ制限、道路幅などのデータ精度を確保する責任があります。彼らは基本的にビーが行う宿題を採点しており、ビーがエラーを犯したとき、制限速度が時速35マイルではなく時速25マイルとしてキャプチャされた場合、それを修正します。複数のモデルが実行され、すべてがコンセンサスに達する必要があります。ここでは、ほとんどのAIモデルが優れたパフォーマンスを発揮し、OpenAIやPhiの古いモデルを使用しても優れたパフォーマンスが見られました。現時点では、これらのビジョンベースのAI検証タスクにはクロードを推奨していません。 2. AIポジショニング これは少し難しいですが、基本的には、オブジェクトが適切に配置され、標識が正しい方位角を持つ正しい車線に関連付けられていることを確認したいと考えています。基本的なAIモデルのほとんどは、まだ3次元空間を強く意識していませんが、これはすぐに変わると予想しています。 OpenAIのCPOであるKevin Weil氏は、「今日使用しているAIモデルは、一生使うことになる最悪のAIモデルです」と述べています。 ここでのアプローチは、道路の中央に制限速度があるか、建物の境界内に電柱があるか、交差点と整列していない一時停止標識があるかなど、明らかな位置決めエラーをキャッチすることです。ここには、別の投稿のために保存する他の手法があります。 3. AI再トレーニング The Beeは、エッジ上にマップを構築する推論ベースのAIモデルを実行しています。ただし、最初にこれらのモデルをクラウドでトレーニングし、ここで重要なのは、将来のエラーを減らす興味深いエッジケースを見つけることです。たとえば、以下に示すようにトラックの後部に取り付けられた時速55マイルの速度制限標識は、静的な制限速度標識ではありません。これらのオブジェクトを取り巻くコンテキストは、オブジェクト自体について多くのことを教えてくれるため、私たちはBeeのAIモデルにこのコンテキストを理解するように教えています。基本的に、エッジケースの数を有意に把握するには、数億kmの道路範囲が必要です。Hivemapperにそれがあるのは良いことです。