指标解读

可用率、平均响应耗时与首 Token 延迟(TTFT)有什么区别?

可用率回答“多少次请求成功”,完整响应耗时回答“整次请求花多久”,首 Token 延迟回答“多久开始输出”。明镜Test 当前轻量监测展示前两项,不测量首 Token 延迟。

可用率:先看分母与时间窗口

本站可用率 = 窗口内成功请求数 ÷ 窗口内实际请求总数。比如 20 个采样请求有 18 次成功,可用率是 90%。它描述这些离散样本,不代表服务器在 24 小时内有 90% 的时间在线。

当前窗口为最近 24 小时,每个分组模型目标保留有限历史,最多 96 条。没有采样时显示暂无数据;一次采样成功后的 100% 和连续多次采样的 100% 应区别理解。

完整响应耗时:包括等候和生成

本站轻量监测从发起请求计时,到接口调用与检查完成后记录耗时,并对成功样本求平均。失败与超时样本不计入这个均值,因此低均值不能抵消高失败比例。

完整响应耗时同时受网络、上游排队、推理与输出长度影响。要比较分组,尽量保持模型、提示词和输出上限一致;平均值也不能代表高峰时段的最慢体验。

A:成功 2/10,成功请求平均 800 ms
B:成功 10/10,成功请求平均 1200 ms
只看平均耗时会偏向 A;结合成功比例,B 在这一轮样本里更可靠。

首 Token 延迟:多久开始产生输出

TTFT 通常从发送请求开始,到收到第一个有效输出 Token 为止。实现时需说明是否包含连接建立、是否忽略 SSE 心跳或仅含角色字段的事件,以及推理内容和正文输出如何区分。

当前站点监测使用轻量非流式请求,没有独立记录这一时间点。页面上的毫秒数不能当成 TTFT,也不能用总耗时倒推出生成速度。

按使用场景读数据

  1. 先看最近采样时间与样本数,确认数据覆盖你关心的时段。
  2. 再看成功比例和错误类别,排除 Key、余额和权限问题对结果的影响。
  3. 比较同一模型、分组和条件的完整响应耗时,回看历史波动。
  4. 交互聊天还需另做流式首输出测试;批量任务则需要另外评估限流、并发与每个成功任务的成本。

用实际请求核对