Szczerze mówiąc, większość deweloperów AI wciąż utknęła w ubiegłym wieku. Zdumiewa mnie, jak mało osób jest świadomych Analizy Błędów. To *dosłownie* najszybszy i najskuteczniejszy sposób oceny aplikacji AI, a większość zespołów wciąż goni za duchami. Proszę, przestańcie śledzić ogólne metryki i postępujcie zgodnie z tymi krokami: 1. Zbieraj próbki błędów Zacznij przeglądać odpowiedzi generowane przez twoją aplikację. Zapisuj notatki o każdej odpowiedzi, szczególnie tych, które były błędne. Nie musisz formatować swoich notatek w żaden szczególny sposób. Skup się na opisie tego, co poszło nie tak w odpowiedzi. 2. Kategoryzuj swoje notatki Po przeglądnięciu dobrej liczby odpowiedzi, weź LLM i poproś go o znalezienie wspólnych wzorców w twoich notatkach. Poproś go o sklasyfikowanie każdej notatki na podstawie tych wzorców. Zakończysz z kategoriami obejmującymi każdy typ błędu, który popełniła twoja aplikacja. 3. Zdiagnozuj najczęstsze błędy Zacznij od skupienia się na najczęstszym typie błędu. Nie chcesz tracić czasu na rzadkie błędy. Zagłęb się w rozmowy, dane wejściowe i logi prowadzące do tych niepoprawnych próbek. Spróbuj zrozumieć, co może powodować problemy. 4. Zaprojektuj ukierunkowane poprawki Na tym etapie chcesz określić, jak najszybciej i najtaniej wyeliminować błędy, które zdiagnozowałeś w poprzednim kroku. Na przykład, możesz dostosować swoje zapytania, dodać dodatkowe zasady walidacji, znaleźć więcej danych do treningu lub zmodyfikować model. 5. Zautomatyzuj proces oceny Musisz wdrożyć prosty proces, aby ponownie uruchomić zestaw oceny przez swoją aplikację i ocenić, czy twoje poprawki były skuteczne. Moja rekomendacja to użycie LLM jako sędziego do uruchamiania próbek przez aplikację, oceniania ich za pomocą tagu PASS/FAIL i obliczania wyników. 6. Zwracaj uwagę na swoje metryki Każda kategoria, którą zidentyfikowałeś podczas analizy błędów, jest metryką, którą chcesz śledzić w czasie. Nie zajdziesz daleko obsesyjnie skupiając się na "relewantności", "poprawności", "kompletności", "spójności" i innych gotowych metrykach. Zapomnij o nich i skup się na prawdziwych problemach, które znalazłeś.