所有基准测试

τ²-Bench:航空

τ²-Bench Airline 测试模型能否胜任航空公司客服的工作:遵循政策手册,与模拟客户交谈,并调用正确的工具来搜索航班、更改预订和办理退款。模型不需要任何领域知识;评分完全取决于它在多步骤任务流程中执行工具调用的表现。我们持续在处理 OpenRouter 流量的同一批提供商端点上运行该测试,因此得分既反映模型的表现,也反映运行该模型的提供商的表现。我们使用这项基准测试,是因为模型在该基准上的基础得分较高,因此我们可以评估提供商之间的差异,而非模型能力。我们针对工具调用请求的路由算法使用这些相同的信号,将流量发送到表现最佳的端点。

上次基准测试运行

工具调用错误:使用 Auto Exacto 前 → 后

3.9% → 1.4%

参与以下优化的模型的工具调用错误率: Auto Exacto,这是 OpenRouter 针对工具调用请求的自动提供商优化功能。

模型对比

最准确

最佳性价比

准确率
代表性运行的准确率,按从高到低排序。
每项任务成本
每项已评分任务的平均费用,按费用从低到高排列。
每项任务耗时
每项任务的平均实际耗时,按最快优先排序;陷入循环或停滞的智能体耗时较长。

成本效率

准确率与成本(帕累托前沿)
每个点代表一个模型,在可用时使用默认路由(不固定到某个提供商)。曲线为帕累托前沿:没有模型能在准确率和成本两方面同时优于这些模型。

工具调用可靠性

排行榜

顶层行在可用时使用默认路由;点击行可展开查看固定提供商的结果。

我们为何运行此基准测试

这是一项难以投机取巧的工具调用基准测试。评分依据实时工具调用轨迹,而非记忆的答案,因此相比问答式评测,它更能抵御训练数据泄漏的影响。它以相对较低的单次运行成本,测试每一种工具调用失败模式(参数错误、跳过策略检查、放弃、虚构确认结果)。相对得分也比绝对得分包含更多有效信息。同一模型在不同提供商上的得分可能不同,而这些差异正是 Exacto 路由用于选择准确率更高的端点的依据。

每项任务都是一段模拟的航空客服对话,包含按脚本交互的用户、工具箱(航班搜索、预订变更、退款、常旅客政策)和标准参考解决方案。只有最终数据库状态和发给用户的消息均与参考方案一致时,任务才算通过;不计部分得分。

分数能说明什么、不能说明什么

仍有提升空间。顶尖模型大约每五项任务就有一项失败,而航空领域是 τ²-Bench 中最难的测试子集。此处的准确率差异区分了能遵循多步骤策略的模型与仅擅长聊天的模型。

不过,得分下限很高。许多任务会奖励不采取行动。对于标准动作列表为空的拒绝任务,任何不做更改的智能体都能通过。即使是较弱的模型,得分也远高于零,因此有意义的分差集中在分数区间的高端。

该基准测试是公开的,因此任务可能出现在训练语料中。不过,相比问答式评估,数据污染对这里的分数虚高影响较小,因为即使任务已泄露,仍须针对实时数据库逐步正确执行。

评分保真度存在局限。检查器验证两项内容:最终数据库的哈希值,以及智能体消息中的精确子字符串匹配。每项任务的自然语言断言(“智能体应拒绝取消操作”)都是元数据,没有评判模型会读取对话记录。因此,当检查器搜索“23553”时,如果智能体说的是“$23,552.50”,节省金额计算就会被判定为失败。

用户模拟器同样重要。我们将其固定为 gemini-2.5-flash,以保持智能体评分的可比性,但模拟器本身也是一个大语言模型,有其自身的失效模式。它可能在智能体完成任务之前终止对话、泄露隐藏的任务指令,或者让陷入困境的智能体不断循环,直到达到 200 步上限而终止运行。更换模拟器模型会改变绝对分数,这也是不同论文中的 τ²-Bench 数值很少完全一致的原因。

任务评分方式

每项任务都附带一个标准解答:工具调用列表、智能体必须说出的字符串以及自然语言断言。对话结束后,检查器会在全新数据库上重放标准工具调用,并将其哈希值与智能体最终数据库的哈希值进行比较。随后,它会在智能体的消息中搜索每个必需的字符串。奖励是这两项检查结果的乘积:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

以下执行轨迹来自真实运行,全程使用 gemini-2.5-flash 作为用户模拟器。

奖励 = 1

通过:一次请求包含三项更改,三项均生效

任务 17 智能体: openai/gpt-5.1

对于预订 FQ8APE:添加 3 件托运行李,将乘客改为 Omar Rossi,并将基础经济舱升级为经济舱,使用礼品卡付款。

  • 数据库必须与标准状态匹配:使用完全一致的参数调用 update_reservation_flights(经济舱升级)、update_reservation_passengers 和 update_reservation_baggages
  • communicate_info 为空,因此不进行字符串检查
db ✓
communicate ✓
USER_STOP

智能体查找了用户,从多个预订中找到了正确的预订,确认了更改和付款方式,然后完成了全部三项写入操作:更换乘客、升舱和添加行李。最终数据库哈希值与标准状态匹配,且运行以 USER_STOP 结束,因此奖励为 1。这正是该评估旨在衡量的能力:在策略约束下正确完成多步骤工具调用。

方法论

评分汇总最近 90 天的成功运行结果,按任务数量加权,每个模型与提供商组合至少需有 45 个已评分任务。模型的主要评分采用其默认路由(不固定到某个提供商)的结果(如有);否则回退到提供商评分的中位数。标准差根据该代表性结果的各次运行计算。成本、时间和 token 数据均为同一批运行中每个任务的平均值。最佳性价比模型是与最高分相差不超过 5 分的帕累托最优模型中价格最低的模型。

这些测量指标同样用于支持 Exacto 路由。请参阅 文档 了解路由的工作原理,或浏览 所有模型 并试用其中一个。

API 访问

这些分数可通过 OpenRouter 的公开基准测试 API 获取,因此您可以通过编程方式检索相同的模型级结果。

GET https://orr.api.report.finance/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

使用 task_type=agentic 筛选出 tau_bench_verified_airline。每个条目代表一个模型,包含 accuracy、 accuracy_stddev、 avg_cost_per_task、 total_tasks 和 last_run_timestamp。请参阅 基准测试 API 文档。

下载并引用

此排行榜的快照发布在 benchmark-leaderboard 开放数据集中(按 benchmark 列筛选),更新频率为 daily ,无需 API 密钥。 当前快照生成于 。 其采用的许可协议为 CC BY 4.0,因此您可以在注明 OpenRouter 署名的情况下重复使用和重新发布。

列定义、方法和脱敏规则见 数据集 README。

引用此排行榜

OpenRouter(2026)。τ²-Bench:OpenRouter 上的航空业测试结果,2026-11-19 快照。https://orr.api.report.finance/benchmarks/tau2-bench-airline。依据 CC BY 4.0 授权。

常见问题