返回题库
Evaluation高频工程题

Agent Evaluation 应该怎么做?

先把它当成真实面试来回答。完成追问后,再对照要点和参考答案。

★★★★☆ 建议回答 4 分钟
本题考察EvaluationTracingReliability
AI 模拟面试1 / 4
I
面试官

Agent Evaluation 应该怎么做?

0
30 秒参考回答

先给结论,再解释为什么。

Agent 评估不能只看最终答案,还要看任务完成率、工具选择、步骤质量、成本、延迟和失败恢复。实践中通常把离线基准、轨迹级评估、LLM Judge、确定性规则和线上业务指标组合起来。

面试官在听什么

不是背定义,而是这些关键判断。

01Task Success
02Trajectory
03Cost
04Online Metrics
FOLLOW-UP QUESTIONS

面试官可能继续追问

真正拉开差距的,通常不是第一问,而是你能不能接住后续。

01

LLM-as-a-Judge 有哪些风险?

02

工具调用正确率应该如何定义?

03

离线分数提高但线上效果下降可能是什么原因?