01
负载模型
先把真实业务负载说清楚
按任务类型、租户等级、峰值窗口、数据量和外部依赖建立负载模型,避免只测一个漂亮的平均值。
执行步骤
- 01
抽取真实任务样本
- 02
按租户和流程分层
- 03
定义峰值、突发和长尾
- 04
锁定目标拓扑和版本
验收证据任务分布与数据量峰值并发与突发系数版本、拓扑和依赖

02
延迟预算
把一次响应拆成可定位的时间片
总延迟由检索、上下文、队列、模型、工具和写回组成;每段有预算,超预算就能定位。
执行步骤
- 01
定义端到端完成目标
- 02
分配各阶段预算
- 03
记录 P50 / P95 / P99
- 04
对超预算节点建行动项
验收证据阶段耗时分解尾延迟与超时预算消耗趋势

03
队列与容量
用队列、配额和并发控制保护业务
把突发任务放进可观测队列,按租户和优先级分配并发,避免一个长任务拖垮所有业务。
执行步骤
- 01
按任务类型拆分队列
- 02
设置租户配额和优先级
- 03
监控等待、执行和失败
- 04
触发限流或扩容策略
验收证据队列深度与等待时间租户配额和消耗限流、扩容和拒绝

04
模型与工具路由
用路由策略把速度、成本和质量放在一起评估
不同任务走不同模型、缓存、工具和重试路径;路由规则要能解释为什么选这条路径。
执行步骤
- 01
按任务难度和数据级别分类
- 02
匹配模型、工具和缓存
- 03
限制重试和并发放大
- 04
记录质量、成本和时延
验收证据路由规则与版本模型 / 工具耗时成本、质量和重试

05
压测与隔离
用峰值、长尾和噪声邻居验证性能边界
测试不仅验证平均速度,还要验证租户隔离、突发流量、依赖变慢和失败重试时的退化行为。
执行步骤
- 01
准备代表性数据与任务
- 02
执行基准、峰值和长尾场景
- 03
注入依赖变慢和失败
- 04
确认隔离、限流和降级
验收证据负载脚本与版本租户级性能差异噪声邻居与降级结果

06
观测与成本
性能优化必须能回到资源和成本
用租户、任务、模型和工具维度的指标看出瓶颈与成本来源,优化后要对比业务结果。
执行步骤
- 01
采集端到端和分段指标
- 02
关联租户、任务和资源
- 03
定位成本异常和容量浪费
- 04
发布优化结果并复测
验收证据资源与成本归因优化前后对比容量预警与下一阈值

