先给结论,再解释为什么。
Agent 评估不能只看最终答案,还要看任务完成率、工具选择、步骤质量、成本、延迟和失败恢复。实践中通常把离线基准、轨迹级评估、LLM Judge、确定性规则和线上业务指标组合起来。
先把它当成真实面试来回答。完成追问后,再对照要点和参考答案。
Agent 评估不能只看最终答案,还要看任务完成率、工具选择、步骤质量、成本、延迟和失败恢复。实践中通常把离线基准、轨迹级评估、LLM Judge、确定性规则和线上业务指标组合起来。
真正拉开差距的,通常不是第一问,而是你能不能接住后续。
LLM-as-a-Judge 有哪些风险?
工具调用正确率应该如何定义?
离线分数提高但线上效果下降可能是什么原因?