Eerlijk gezegd zitten de meeste AI-ontwikkelaars nog steeds vast in de vorige eeuw. Het verbaast me hoe weinig mensen zich bewust zijn van Foutanalyse. Dit is *letterlijk* de snelste en meest effectieve manier om AI-toepassingen te evalueren, en de meeste teams zijn nog steeds bezig met het achtervolgen van schimmen. Alsjeblieft, stop met het volgen van generieke statistieken en volg deze stappen: 1. Verzamel foutmonsters Begin met het beoordelen van de reacties die door je toepassing zijn gegenereerd. Schrijf aantekeningen over elke reactie, vooral diegene die fouten waren. Je hoeft je aantekeningen niet op een specifieke manier te formatteren. Focus op het beschrijven van wat er misging met de reactie. 2. Categoriseer je aantekeningen Nadat je een goede set reacties hebt beoordeeld, neem een LLM en vraag het om gemeenschappelijke patronen in je aantekeningen te vinden. Vraag het om elke aantekening te classificeren op basis van deze patronen. Je eindigt met categorieën die elk type fout dekken dat je toepassing heeft gemaakt. 3. Diagnoseer de meest voorkomende fouten Begin met het focussen op het meest voorkomende type fout. Je wilt geen tijd verspillen aan zeldzame fouten. Duik in de gesprekken, invoer en logboeken die leiden tot die onjuiste monsters. Probeer te begrijpen wat de problemen zou kunnen veroorzaken. 4. Ontwerp gerichte oplossingen Op dit punt wil je bepalen hoe je de fouten die je in de vorige stap hebt gediagnosticeerd zo snel en goedkoop mogelijk kunt elimineren. Bijvoorbeeld, je zou je prompts kunnen aanpassen, extra validatieregels kunnen toevoegen, meer trainingsdata kunnen vinden of het model kunnen aanpassen. 5. Automatiseer het evaluatieproces Je moet een eenvoudig proces implementeren om een evaluatieset opnieuw door je toepassing te laten draaien en te evalueren of je oplossingen effectief waren. Mijn aanbeveling is om een LLM-as-een-Rechter te gebruiken om monsters door de toepassing te laten lopen, ze te scoren met een PASS/FAIL-tag en de resultaten te berekenen. 6. Houd je statistieken in de gaten Elke categorie die je tijdens de foutanalyse hebt geïdentificeerd, is een statistiek die je in de loop van de tijd wilt volgen. Je komt nergens door te obsessief bezig te zijn met "relevantie", "correctheid", "volledigheid", "coherentie" en andere standaardstatistieken. Vergeet deze en focus op de echte problemen die je hebt gevonden.