老实说，大多数AI开发者仍然停留在上个世纪。 让我震惊的是，知道错误分析的人少之又少。 这*确实*是评估AI应用程序最快、最有效的方法，而大多数团队仍然在追逐幽灵。 请停止追踪通用指标，遵循以下步骤： 1. 收集失败样本 开始审查您的应用程序生成的响应。对每个响应做笔记，特别是那些错误的响应。您不需要以任何特定方式格式化您的笔记。专注于描述响应中出了什么问题。 2. 对您的笔记进行分类 在您审查了一组良好的响应后，使用一个LLM，要求它在您的笔记中找到常见模式。要求它根据这些模式对每个笔记进行分类。 您将最终得到涵盖应用程序所犯每种错误类型的类别。 3. 诊断最常见的错误 首先关注最常见的错误类型。您不想浪费时间处理罕见的错误。 深入分析导致这些错误样本的对话、输入和日志。尝试理解可能导致问题的原因。 4. 设计有针对性的修复 在这一点上，您想确定如何尽快、以最低成本消除您在上一步中诊断出的错误。 例如，您可以调整提示，添加额外的验证规则，寻找更多的训练数据，或修改模型。 5. 自动化评估过程 您需要实施一个简单的过程，通过您的应用程序重新运行评估集，并评估您的修复是否有效。 我的建议是使用LLM作为评判者，通过应用程序运行样本，给它们打上通过/不通过的标签，并计算结果。 6. 关注您的指标 您在错误分析中识别的每个类别都是您希望随着时间推移而跟踪的指标。 沉迷于"相关性"、"正确性"、"完整性"、"连贯性"以及任何其他现成指标是没有意义的。忘掉这些，专注于您发现的真正问题。