延迟

通俗解释

延迟通常分为首 token 延迟和总生成时间。输入越长、模型越大、输出越多,延迟越高。流式输出可以降低感知延迟。实时应用要关注 P95 延迟,而不只是平均值。