推理

通俗解释

推理与训练不同:训练更新参数,推理只做前向计算。推理成本取决于模型大小、输入长度、输出长度和硬件。API 服务通常按 token 计费,本地部署则按 GPU 显存和时延衡量。