AI测试工作流
- Skill 标识
ai-test-workflow- 所属分类
- 软件测试 / 测试开发
把 Bug、日志、SQL、回归和 Prompt 测试五个助手装进同一工作台。统一任务入口、输出格式和风险规则,用一次联动实战串起排查到回归,让个人经验成为团队可复用的工具箱。
本文目录
- Skill 概览
- 适合谁、用在什么场景
- 需要准备什么、能得到什么
- 核心能力与使用边界
- 实战教程与使用说明
- 一、为什么要做「工作流工具箱」?
- 1.1 单工作流不够用的原因
- 1.2 工具箱的价值
- 二、工具箱是什么?
- 2.1 五个职责清晰的小助手
- 三、第一步:创建目录结构
- 3.1 一键创建骨架
- 3.2 目标目录树
- 四、第二步:编写 system 层(统一规则)
- 4.1 system/风险等级规则.md
- 4.2 system/人工复核规则.md
- 4.3 system/AI测试工作台总规则.md
- 五、第三步:五个助手(输入 / 工作流 / 输出)
- 5.1 助手 1:Bug 分析
- 5.2 助手 2:日志排查
- 5.3 助手 3:SQL 分析
- 5.4 助手 4:回归测试
- 5.5 助手 5:Prompt 测试
- 六、第四步:总入口 SKILL.md(任务路由)
- 七、第五步:多助手协同(完整联动案例)
- 7.1 问题场景
- 7.2 协同流程
- 7.3 workflows/联动工作流.md 模板
- 7.4 建议验证 SQL(供 SQL 助手输入)
- 八、统一入口与输出规范
- 8.1 五个用户入口(可做飞书表单 / README 首屏)
- 8.2 合格 vs 不合格输出
- 九、章节综合实战任务(交付清单)
- 9.1 必交文件 checklist
- 9.2 验收标准
- 十、常见错误
- 十一、本节总结
- 附录 A:学习前可准备的附件资料
- A.1 单课成果(建议自带)
- A.2 业务资产(assets/ 最小集)
- A.3 实战输入包(templates/)
- A.4 联动案例素材
- A.5 环境与工具
Skill 概览
适合谁、用在什么场景
已具备单项分析基础、希望整合团队 AI 测试方法的测试工程师与负责人。
需要准备什么、能得到什么
- 输入材料:Bug 案例、日志、SQL、版本改动、Prompt 及模块与历史缺陷资料。
- 交付产物:五个助手的工作流目录、统一入口、输出模板及多助手联动分析记录。
核心能力与使用边界
- 核心能力:按任务路由组合分析流程,共用风险分级与人工复核规则,支持 Git 管理和持续维护。
- 使用边界:这是流程工具箱,不是自动接入所有系统的平台;关键结论依赖证据和人工复核。
实战教程与使用说明
文档类型:可跟做教程 | 适用对象:已完成 Bug/日志/SQL/回归/Prompt 等单课工作流的测试工程师
学完你能做什么:搭建完整的AI_Test_Workflow_Toolbox/目录,含 5 个助手、统一入口、风险等级与人工复核规则,并完成一次多助手联动实战
一、为什么要做「工作流工具箱」?
1.1 单工作流不够用的原因
前面已分别学习 5 类工作流,但真实工作中:
一个 Bug → 可能要同时看日志、查 SQL、定回归范围、验证 Prompt 是否稳定
若只有零散 Prompt,测试人每次都要重新组织语言,输出格式也不统一。
1.2 工具箱的价值
零散 Prompt | AI 测试工作流工具箱 |
|---|---|
每次从零描述任务 | 5 个清晰入口,固定流程 |
输出格式不一 | 统一 outputs + 风险等级 |
难以团队协作 | 目录即规范,可 Git 管理 |
核心观点:价值不是「多几个 Prompt」,而是清晰入口 + 固定流程 + 统一输出。
二、工具箱是什么?
2.1 五个职责清晰的小助手
Bug 分析助手
+ 日志排查助手
+ SQL 分析助手
+ 回归测试助手
+ Prompt 测试助手
助手 | 负责 |
|---|---|
Bug 分析 | 现象 → 影响模块 → 排查路径 → 风险等级 |
日志排查 | 关键词 → 异常类型 → 调用链 → 排查建议 |
SQL 分析 | 慢查询、索引、WHERE/JOIN/ORDER BY 风险 |
回归测试 | 改动 → 影响模块 → 回归清单 |
Prompt 测试 | 验证 Prompt 稳定性、边界、幻觉风险 |
不是一个大而全的万能助手,而是组合使用。
三、第一步:创建目录结构
3.1 一键创建骨架
在项目根目录执行:
export TOOLBOX=AI_Test_Workflow_Toolbox
mkdir -p $TOOLBOX/{system,workflows,prompts,outputs,assets,templates,examples}
touch $TOOLBOX/SKILL.md
3.2 目标目录树
AI_Test_Workflow_Toolbox/
├── SKILL.md # 总入口:5 个任务路由
├── system/
│ ├── AI测试工作台总规则.md
│ ├── 风险等级规则.md
│ └── 人工复核规则.md
├── workflows/
│ ├── Bug分析工作流.md
│ ├── 日志排查工作流.md
│ ├── SQL分析工作流.md
│ ├── 回归测试工作流.md
│ └── Prompt测试工作流.md
├── prompts/
│ ├── Bug分析助手Prompt.md
│ ├── 日志排查助手Prompt.md
│ ├── SQL分析助手Prompt.md
│ ├── 回归测试助手Prompt.md
│ └── Prompt测试助手Prompt.md
├── outputs/
│ ├── Bug分析输出格式.md
│ ├── 日志排查输出格式.md
│ ├── SQL分析输出格式.md
│ ├── 回归测试清单输出格式.md
│ └── Prompt测试报告输出格式.md
├── assets/
│ ├── 历史Bug库.md
│ ├── 日志规律库.md
│ ├── SQL风险库.md
│ ├── 回归规则库.md
│ └── Prompt测试案例库.md
├── templates/ # 输入表单模板(可选)
└── examples/ # 完整联动案例输出
执行上述命令,确认 tree AI_Test_Workflow_Toolbox(或 find)目录与上一致。
四、第二步:编写 system 层(统一规则)
4.1 system/风险等级规则.md
# 风险等级规则(全工具箱统一)
| 等级 | 定义 | 示例 |
|------|------|------|
| P0 | 资金损失、订单状态错误、核心链路阻断 | 重复扣款、支付成功订单未支付 |
| P1 | 主要功能受损、大面积用户影响 | 下单超时、列表慢查询 |
| P2 | 局部功能、有绕行方案 | 非核心报表慢 |
| P3 | 展示类、低影响 | 头像加载失败 |
**要求**:所有助手输出必须带 P0–P3 之一,并写一句理由。
4.2 system/人工复核规则.md
# 人工复核规则
以下结论 **必须由测试人勾选确认** 后方可作为正式结论:
- [ ] 根因是否有日志/SQL/接口证据
- [ ] 风险等级是否与业务影响一致
- [ ] 回归范围是否过大或过小
- [ ] SQL 优化建议是否需研发/DBA 确认
- [ ] 日志证据是否完整(含 traceId 链路)
- [ ] Prompt 测试样本是否覆盖边界与异常输入
4.3 system/AI测试工作台总规则.md
# AI 测试工作台总规则
1. 用户选择任务入口后,**只执行对应 workflow**,不得混用其他助手流程。
2. 输出必须符合 `outputs/` 中对应格式。
3. 必须引用 `assets/` 中相关资产;标注「必须加载」的文件不得跳过。
4. 证据不足时**禁止硬猜根因**,按各 workflow 列出缺失信息。
5. 所有输出文末附「人工复核点」并引用 `system/人工复核规则.md`。
6. 风险等级统一遵循 `system/风险等级规则.md`。
五、第三步:五个助手(输入 / 工作流 / 输出)
以下每助手:输入清单 → workflow 文件 → output 格式 → 最小 Prompt。你可从单课教程复制细化 workflow,此处给可运行最小版。
5.1 助手 1:Bug 分析
输入(templates/bug_input.yaml):
title: "支付成功后订单仍显示未支付"
steps: ["完成微信支付", "订单列表仍为待支付"]
actual: "status=待支付"
expected: "status=已支付"
log_snippet: "(粘贴日志)"
api_response: "(粘贴 JSON)"
version_change: "v2.3.1 优化支付回调"
workflow 要点(workflows/Bug分析工作流.md):
提取现象 → 影响模块 → 可能原因 → 推荐日志/SQL → 关联历史Bug → 回归范围 → 风险等级 → 人工复核
输出格式(outputs/Bug分析输出格式.md):固定字段「问题现象、影响模块、可能原因、推荐日志、推荐SQL、关联历史Bug、回归范围、风险等级、人工复核点」。
Prompt 入口(prompts/Bug分析助手Prompt.md)节选:
你是 Bug 分析助手。严格按 workflows/Bug分析工作流.md 执行。
加载 assets/历史Bug库.md。输出必须符合 outputs/Bug分析输出格式.md。
案例输出要点(支付未更新订单):
影响模块:支付回调、订单状态、MQ、支付流水
推荐日志:payment callback、order status update、mq consume
推荐 SQL:order_info、payment_record
回归范围:支付、订单、库存、优惠券、退款
风险等级:P0
5.2 助手 2:日志排查
输入:原始日志、traceId、发生时间、业务场景、环境。
workflow:关键词 → 异常类型 → 调用链 → 模块 → 历史规律 → 排查建议 → 证据不足清单。
案例日志:
ERROR order-service traceId=abc123
Call inventory-service failed: Read timed out
输出要点:异常类型=接口超时;调用链=订单→库存;建议查 inventory-service 同 traceId 日志与慢 SQL。
5.3 助手 3:SQL 分析
输入:SQL、业务场景、表名、数据量级、接口名、现象。
案例 SQL:
SELECT * FROM order_info
WHERE status = 1
ORDER BY create_time DESC
LIMIT 100000, 20;
输出要点:SELECT *、status 低区分度、深分页、order by 风险;建议 EXPLAIN、游标分页;风险 P1。
5.4 助手 4:回归测试
输入:本次改动、需求/Bug 说明、接口变更、历史 Bug 库、业务链路。
案例改动:「优化支付回调逻辑」
输出要点:必回归支付回调、订单状态、流水、库存、优惠券、MQ、退款;历史 Bug:重复回调、订单未支付;优先级 P0 项标注。
5.5 助手 5:Prompt 测试
输入:待测 Prompt、测试目标、测试样本、期望输出规则。
待测示例:请根据需求生成测试用例。
测试维度:
- 同一需求重复运行是否稳定
- 需求缺失是否提示补充
- 错误需求是否识别矛盾
- 多轮是否保持输出格式
- 证据不足是否乱编
输出:稳定性/边界/错误输入/多轮一致性/幻觉风险/优化建议/是否通过。
为 5 个助手各创建 workflow + output + prompt 三个文件。
六、第四步:总入口 SKILL.md(任务路由)
---
name: ai-test-workflow-toolbox
description: AI 测试工作流工具箱。Bug分析、日志排查、SQL分析、回归清单、Prompt测试五入口。
---
# AI 测试工作流工具箱
## 任务入口(用户说哪句 → 走哪条流程)
| 用户意图 | 执行 |
|----------|------|
| 分析 Bug / 缺陷 | workflows/Bug分析工作流.md + prompts/Bug分析助手Prompt.md |
| 排查日志 / traceId | workflows/日志排查工作流.md + prompts/日志排查助手Prompt.md |
| 分析 SQL / 慢查询 | workflows/SQL分析工作流.md + prompts/SQL分析助手Prompt.md |
| 回归范围 / 回归清单 | workflows/回归测试工作流.md + prompts/回归测试助手Prompt.md |
| 测试 Prompt / 验证 Prompt | workflows/Prompt测试工作流.md + prompts/Prompt测试助手Prompt.md |
## 全局规则(必须先读)
- system/AI测试工作台总规则.md
- system/风险等级规则.md
- system/人工复核规则.md
## 多助手联动
当用户描述完整 Bug 且需要全流程时,按 workflows/联动工作流.md 顺序调用(见第七节)。
新建 workflows/联动工作流.md。
七、第五步:多助手协同(完整联动案例)
7.1 问题场景
用户支付成功,但订单状态未支付。
7.2 协同流程
① Bug 分析助手:现象、影响模块、风险 P0、推荐日志/SQL
↓
② 日志排查助手:支付回调、订单状态、MQ 相关日志
↓
③ SQL 分析助手:order_info、payment_record 状态一致性查询
↓
④ 回归测试助手:支付、订单、库存、优惠券、退款清单
↓
⑤ Prompt 测试助手(可选):验证 Bug 分析 Prompt 在同样本上是否稳定
7.3 workflows/联动工作流.md 模板
# 多助手联动工作流
## 触发条件
用户需要「全流程分析」或同时提供 Bug+日志+SQL 场景。
## 执行顺序
1. Bug分析工作流 → 产出主报告(outputs/Bug分析输出格式.md)
2. 若用户提供日志 → 日志排查工作流,traceId 与 Bug 报告对齐
3. 若涉及数据状态 → SQL分析工作流,使用 Bug 报告中的「推荐SQL」
4. 回归测试工作流,输入 version_change + 影响模块
5. (可选)Prompt测试工作流,待测 prompts/Bug分析助手Prompt.md
## 禁止
- 跳过 Bug 分析直接猜根因
- 各助手输出格式互相混用
7.4 建议验证 SQL(供 SQL 助手输入)
SELECT o.order_id, o.status AS order_status,
p.pay_status, p.callback_time
FROM order_info o
LEFT JOIN pay_record p ON o.order_id = p.order_id
WHERE o.order_id = 'YOUR_ORDER_ID';
按联动流程跑一遍(可在 Cursor 中 @ 本 Skill),将合并结果保存到 examples/支付成功订单未支付_联动案例.md。
八、统一入口与输出规范
8.1 五个用户入口(可做飞书表单 / README 首屏)
我要分析 Bug
我要排查日志
我要分析 SQL
我要生成回归清单
我要测试 Prompt
每个入口对应:固定输入模板(templates/)+ workflow + output。
8.2 合格 vs 不合格输出
不合格 | 合格 |
|---|---|
可能是数据库问题,建议检查 | 疑似模块:订单库;证据:支付成功订单未更新;建议 SQL:查 order_info 与 payment_record;风险:P0;人工复核:是否重复回调 |
统一原则:
结构清晰 · 字段固定 · 风险等级明确 · 建议可执行 · 证据不足不硬猜 · 标注人工复核点
九、章节综合实战任务(交付清单)
9.1 必交文件 checklist
- [ ] 5 个工作流文件(workflows/)
- [ ] 5 个助手 Prompt(prompts/)
- [ ] 5 个输出格式(outputs/)
- [ ] 3 个 system 规则
- [ ] 5 类 assets(可先做精简版,每库 ≥3 条)
- [ ] 1 个联动案例(examples/)
- [ ] SKILL.md 总入口
9.2 验收标准
同事只看
SKILL.md能否选对入口并完成一次任务联动案例是否包含 4 类助手输出 + 统一 P0 风险 + 人工复核勾选
十、常见错误
错误 | 修复 |
|---|---|
5 个助手塞进一个 Prompt | 拆文件 + SKILL 路由 |
无统一风险等级 | 强制引用 system/风险等级规则.md |
联动时跳步 | 写清 workflows/联动工作流.md 顺序 |
assets 为空 | 每库至少 3 条真实/仿真条目 |
无人工复核 | 每份输出末尾加复核 checklist |
十一、本节总结
AI 测试工作流工具箱 =
Bug分析 + 日志排查 + SQL分析 + 回归测试 + Prompt测试
+ 统一 system 规则 + 统一入口 + 联动工作流
最终观点:未来测试人的核心能力,是把测试工作拆成多个可复用助手,让 AI 像测试团队一样协同工作。
附录 A:学习前可准备的附件资料
A.1 单课成果(建议自带)
资料 | 说明 |
|---|---|
已写的 Bug 分析 workflow | 可迁入 |
日志排查 workflow + 样例日志 | 迁入工具箱 |
SQL 分析 workflow + 样例 SQL | 迁入工具箱 |
回归测试 workflow | 迁入工具箱 |
Prompt 7 段结构范例 | 用于 Prompt 测试助手 |
A.2 业务资产(assets/ 最小集)
文件 | 最少内容 |
|---|---|
历史Bug库.md | 3 条支付/订单类 Bug(现象→根因) |
日志规律库.md | 5 条关键词→方向映射 |
SQL风险库.md | 5 条慢 SQL 模式(SELECT *、深分页等) |
回归规则库.md | 改动类型→必回归模块 |
Prompt测试案例库.md | 3 组输入/期望/易错点 |
A.3 实战输入包(templates/)
文件 | 用途 |
|---|---|
bug_input.yaml | Bug 分析助手 |
log_input.yaml | 日志排查助手 |
sql_input.yaml | SQL 分析助手 |
release_change.md | 回归助手 |
prompt_test_plan.md | Prompt 测试助手 |
A.4 联动案例素材
素材 | 说明 |
|---|---|
支付成功订单未支付 | 主场景(Bug+日志+SQL+回归) |
traceId=abc123 日志片段 | 日志助手 |
order_info + pay_record DDL | SQL 助手 |
支付回调改动说明 | 回归助手 |
A.5 环境与工具
Cursor / VS Code
Git(版本管理工具箱)
可选:MySQL 客户端(验证 SQL 助手建议)
可选:日志平台只读账号(练习 traceId 查询)
扫码添加辅导员,发送 Skill 名称,领取源码与配套资料。