AI测试工作流

Skill 标识
ai-test-workflow

把 Bug、日志、SQL、回归和 Prompt 测试五个助手装进同一工作台。统一任务入口、输出格式和风险规则,用一次联动实战串起排查到回归,让个人经验成为团队可复用的工具箱。

扫码添加辅导员,发送 Skill 名称领取源码
本文目录
  1. Skill 概览
  2. 适合谁、用在什么场景
  3. 需要准备什么、能得到什么
  4. 核心能力与使用边界
  5. 实战教程与使用说明
  6. 一、为什么要做「工作流工具箱」?
  7. 1.1 单工作流不够用的原因
  8. 1.2 工具箱的价值
  9. 二、工具箱是什么?
  10. 2.1 五个职责清晰的小助手
  11. 三、第一步:创建目录结构
  12. 3.1 一键创建骨架
  13. 3.2 目标目录树
  14. 四、第二步:编写 system 层(统一规则)
  15. 4.1 system/风险等级规则.md
  16. 4.2 system/人工复核规则.md
  17. 4.3 system/AI测试工作台总规则.md
  18. 五、第三步:五个助手(输入 / 工作流 / 输出)
  19. 5.1 助手 1:Bug 分析
  20. 5.2 助手 2:日志排查
  21. 5.3 助手 3:SQL 分析
  22. 5.4 助手 4:回归测试
  23. 5.5 助手 5:Prompt 测试
  24. 六、第四步:总入口 SKILL.md(任务路由)
  25. 七、第五步:多助手协同(完整联动案例)
  26. 7.1 问题场景
  27. 7.2 协同流程
  28. 7.3 workflows/联动工作流.md 模板
  29. 7.4 建议验证 SQL(供 SQL 助手输入)
  30. 八、统一入口与输出规范
  31. 8.1 五个用户入口(可做飞书表单 / README 首屏)
  32. 8.2 合格 vs 不合格输出
  33. 九、章节综合实战任务(交付清单)
  34. 9.1 必交文件 checklist
  35. 9.2 验收标准
  36. 十、常见错误
  37. 十一、本节总结
  38. 附录 A:学习前可准备的附件资料
  39. A.1 单课成果(建议自带)
  40. A.2 业务资产(assets/ 最小集)
  41. A.3 实战输入包(templates/)
  42. A.4 联动案例素材
  43. A.5 环境与工具

Skill 概览

适合谁、用在什么场景

已具备单项分析基础、希望整合团队 AI 测试方法的测试工程师与负责人。

需要准备什么、能得到什么

  • 输入材料:Bug 案例、日志、SQL、版本改动、Prompt 及模块与历史缺陷资料。
  • 交付产物:五个助手的工作流目录、统一入口、输出模板及多助手联动分析记录。

核心能力与使用边界

  • 核心能力:按任务路由组合分析流程,共用风险分级与人工复核规则,支持 Git 管理和持续维护。
  • 使用边界:这是流程工具箱,不是自动接入所有系统的平台;关键结论依赖证据和人工复核。

实战教程与使用说明

文档类型:可跟做教程 | 适用对象:已完成 Bug/日志/SQL/回归/Prompt 等单课工作流的测试工程师
学完你能做什么:搭建完整的 AI_Test_Workflow_Toolbox/ 目录,含 5 个助手、统一入口、风险等级与人工复核规则,并完成一次多助手联动实战


一、为什么要做「工作流工具箱」?

1.1 单工作流不够用的原因

前面已分别学习 5 类工作流,但真实工作中:

text
一个 Bug → 可能要同时看日志、查 SQL、定回归范围、验证 Prompt 是否稳定

若只有零散 Prompt,测试人每次都要重新组织语言,输出格式也不统一。

1.2 工具箱的价值

零散 Prompt

AI 测试工作流工具箱

每次从零描述任务

5 个清晰入口,固定流程

输出格式不一

统一 outputs + 风险等级

难以团队协作

目录即规范,可 Git 管理

核心观点:价值不是「多几个 Prompt」,而是清晰入口 + 固定流程 + 统一输出。


二、工具箱是什么?

2.1 五个职责清晰的小助手

text
Bug 分析助手
  + 日志排查助手
  + SQL 分析助手
  + 回归测试助手
  + Prompt 测试助手

助手

负责

Bug 分析

现象 → 影响模块 → 排查路径 → 风险等级

日志排查

关键词 → 异常类型 → 调用链 → 排查建议

SQL 分析

慢查询、索引、WHERE/JOIN/ORDER BY 风险

回归测试

改动 → 影响模块 → 回归清单

Prompt 测试

验证 Prompt 稳定性、边界、幻觉风险

不是一个大而全的万能助手,而是组合使用。


三、第一步:创建目录结构

3.1 一键创建骨架

在项目根目录执行:

bash
export TOOLBOX=AI_Test_Workflow_Toolbox
mkdir -p $TOOLBOX/{system,workflows,prompts,outputs,assets,templates,examples}
touch $TOOLBOX/SKILL.md

3.2 目标目录树

text
AI_Test_Workflow_Toolbox/
├── SKILL.md                          # 总入口:5 个任务路由
├── system/
│   ├── AI测试工作台总规则.md
│   ├── 风险等级规则.md
│   └── 人工复核规则.md
├── workflows/
│   ├── Bug分析工作流.md
│   ├── 日志排查工作流.md
│   ├── SQL分析工作流.md
│   ├── 回归测试工作流.md
│   └── Prompt测试工作流.md
├── prompts/
│   ├── Bug分析助手Prompt.md
│   ├── 日志排查助手Prompt.md
│   ├── SQL分析助手Prompt.md
│   ├── 回归测试助手Prompt.md
│   └── Prompt测试助手Prompt.md
├── outputs/
│   ├── Bug分析输出格式.md
│   ├── 日志排查输出格式.md
│   ├── SQL分析输出格式.md
│   ├── 回归测试清单输出格式.md
│   └── Prompt测试报告输出格式.md
├── assets/
│   ├── 历史Bug库.md
│   ├── 日志规律库.md
│   ├── SQL风险库.md
│   ├── 回归规则库.md
│   └── Prompt测试案例库.md
├── templates/                        # 输入表单模板(可选)
└── examples/                         # 完整联动案例输出

执行上述命令,确认 tree AI_Test_Workflow_Toolbox(或 find)目录与上一致。


四、第二步:编写 system 层(统一规则)

4.1 system/风险等级规则.md

markdown
# 风险等级规则(全工具箱统一)

| 等级 | 定义 | 示例 |
|------|------|------|
| P0 | 资金损失、订单状态错误、核心链路阻断 | 重复扣款、支付成功订单未支付 |
| P1 | 主要功能受损、大面积用户影响 | 下单超时、列表慢查询 |
| P2 | 局部功能、有绕行方案 | 非核心报表慢 |
| P3 | 展示类、低影响 | 头像加载失败 |

**要求**:所有助手输出必须带 P0–P3 之一,并写一句理由。

4.2 system/人工复核规则.md

markdown
# 人工复核规则

以下结论 **必须由测试人勾选确认** 后方可作为正式结论:

- [ ] 根因是否有日志/SQL/接口证据
- [ ] 风险等级是否与业务影响一致
- [ ] 回归范围是否过大或过小
- [ ] SQL 优化建议是否需研发/DBA 确认
- [ ] 日志证据是否完整(含 traceId 链路)
- [ ] Prompt 测试样本是否覆盖边界与异常输入

4.3 system/AI测试工作台总规则.md

markdown
# AI 测试工作台总规则

1. 用户选择任务入口后,**只执行对应 workflow**,不得混用其他助手流程。
2. 输出必须符合 `outputs/` 中对应格式。
3. 必须引用 `assets/` 中相关资产;标注「必须加载」的文件不得跳过。
4. 证据不足时**禁止硬猜根因**,按各 workflow 列出缺失信息。
5. 所有输出文末附「人工复核点」并引用 `system/人工复核规则.md`。
6. 风险等级统一遵循 `system/风险等级规则.md`。

五、第三步:五个助手(输入 / 工作流 / 输出)

以下每助手:输入清单 → workflow 文件 → output 格式 → 最小 Prompt。你可从单课教程复制细化 workflow,此处给可运行最小版。

5.1 助手 1:Bug 分析

输入(templates/bug_input.yaml):

yaml
title: "支付成功后订单仍显示未支付"
steps: ["完成微信支付", "订单列表仍为待支付"]
actual: "status=待支付"
expected: "status=已支付"
log_snippet: "(粘贴日志)"
api_response: "(粘贴 JSON)"
version_change: "v2.3.1 优化支付回调"

workflow 要点(workflows/Bug分析工作流.md):

text
提取现象 → 影响模块 → 可能原因 → 推荐日志/SQL → 关联历史Bug → 回归范围 → 风险等级 → 人工复核

输出格式(outputs/Bug分析输出格式.md):固定字段「问题现象、影响模块、可能原因、推荐日志、推荐SQL、关联历史Bug、回归范围、风险等级、人工复核点」。

Prompt 入口(prompts/Bug分析助手Prompt.md)节选:

markdown
你是 Bug 分析助手。严格按 workflows/Bug分析工作流.md 执行。
加载 assets/历史Bug库.md。输出必须符合 outputs/Bug分析输出格式.md。

案例输出要点(支付未更新订单):

text
影响模块:支付回调、订单状态、MQ、支付流水
推荐日志:payment callback、order status update、mq consume
推荐 SQL:order_info、payment_record
回归范围:支付、订单、库存、优惠券、退款
风险等级:P0

5.2 助手 2:日志排查

输入:原始日志、traceId、发生时间、业务场景、环境。

workflow:关键词 → 异常类型 → 调用链 → 模块 → 历史规律 → 排查建议 → 证据不足清单。

案例日志:

text
ERROR order-service traceId=abc123
Call inventory-service failed: Read timed out

输出要点:异常类型=接口超时;调用链=订单→库存;建议查 inventory-service 同 traceId 日志与慢 SQL。


5.3 助手 3:SQL 分析

输入:SQL、业务场景、表名、数据量级、接口名、现象。

案例 SQL:

sql
SELECT * FROM order_info
WHERE status = 1
ORDER BY create_time DESC
LIMIT 100000, 20;

输出要点:SELECT *、status 低区分度、深分页、order by 风险;建议 EXPLAIN、游标分页;风险 P1。


5.4 助手 4:回归测试

输入:本次改动、需求/Bug 说明、接口变更、历史 Bug 库、业务链路。

案例改动:「优化支付回调逻辑」

输出要点:必回归支付回调、订单状态、流水、库存、优惠券、MQ、退款;历史 Bug:重复回调、订单未支付;优先级 P0 项标注。


5.5 助手 5:Prompt 测试

输入:待测 Prompt、测试目标、测试样本、期望输出规则。

待测示例:请根据需求生成测试用例。

测试维度:

text
- 同一需求重复运行是否稳定
- 需求缺失是否提示补充
- 错误需求是否识别矛盾
- 多轮是否保持输出格式
- 证据不足是否乱编

输出:稳定性/边界/错误输入/多轮一致性/幻觉风险/优化建议/是否通过。

为 5 个助手各创建 workflow + output + prompt 三个文件。


六、第四步:总入口 SKILL.md(任务路由)

markdown
---
name: ai-test-workflow-toolbox
description: AI 测试工作流工具箱。Bug分析、日志排查、SQL分析、回归清单、Prompt测试五入口。
---

# AI 测试工作流工具箱

## 任务入口(用户说哪句 → 走哪条流程)

| 用户意图 | 执行 |
|----------|------|
| 分析 Bug / 缺陷 | workflows/Bug分析工作流.md + prompts/Bug分析助手Prompt.md |
| 排查日志 / traceId | workflows/日志排查工作流.md + prompts/日志排查助手Prompt.md |
| 分析 SQL / 慢查询 | workflows/SQL分析工作流.md + prompts/SQL分析助手Prompt.md |
| 回归范围 / 回归清单 | workflows/回归测试工作流.md + prompts/回归测试助手Prompt.md |
| 测试 Prompt / 验证 Prompt | workflows/Prompt测试工作流.md + prompts/Prompt测试助手Prompt.md |

## 全局规则(必须先读)

- system/AI测试工作台总规则.md
- system/风险等级规则.md
- system/人工复核规则.md

## 多助手联动

当用户描述完整 Bug 且需要全流程时,按 workflows/联动工作流.md 顺序调用(见第七节)。

新建 workflows/联动工作流.md。


七、第五步:多助手协同(完整联动案例)

7.1 问题场景

text
用户支付成功,但订单状态未支付。

7.2 协同流程

text
① Bug 分析助手:现象、影响模块、风险 P0、推荐日志/SQL
    ↓
② 日志排查助手:支付回调、订单状态、MQ 相关日志
    ↓
③ SQL 分析助手:order_info、payment_record 状态一致性查询
    ↓
④ 回归测试助手:支付、订单、库存、优惠券、退款清单
    ↓
⑤ Prompt 测试助手(可选):验证 Bug 分析 Prompt 在同样本上是否稳定

7.3 workflows/联动工作流.md 模板

markdown
# 多助手联动工作流

## 触发条件
用户需要「全流程分析」或同时提供 Bug+日志+SQL 场景。

## 执行顺序
1. Bug分析工作流 → 产出主报告(outputs/Bug分析输出格式.md)
2. 若用户提供日志 → 日志排查工作流,traceId 与 Bug 报告对齐
3. 若涉及数据状态 → SQL分析工作流,使用 Bug 报告中的「推荐SQL」
4. 回归测试工作流,输入 version_change + 影响模块
5. (可选)Prompt测试工作流,待测 prompts/Bug分析助手Prompt.md

## 禁止
- 跳过 Bug 分析直接猜根因
- 各助手输出格式互相混用

7.4 建议验证 SQL(供 SQL 助手输入)

sql
SELECT o.order_id, o.status AS order_status,
       p.pay_status, p.callback_time
FROM order_info o
LEFT JOIN pay_record p ON o.order_id = p.order_id
WHERE o.order_id = 'YOUR_ORDER_ID';

按联动流程跑一遍(可在 Cursor 中 @ 本 Skill),将合并结果保存到 examples/支付成功订单未支付_联动案例.md。


八、统一入口与输出规范

8.1 五个用户入口(可做飞书表单 / README 首屏)

text
我要分析 Bug
我要排查日志
我要分析 SQL
我要生成回归清单
我要测试 Prompt

每个入口对应:固定输入模板(templates/)+ workflow + output。

8.2 合格 vs 不合格输出

不合格

合格

可能是数据库问题,建议检查

疑似模块:订单库;证据:支付成功订单未更新;建议 SQL:查 order_info 与 payment_record;风险:P0;人工复核:是否重复回调

统一原则:

text
结构清晰 · 字段固定 · 风险等级明确 · 建议可执行 · 证据不足不硬猜 · 标注人工复核点

九、章节综合实战任务(交付清单)

9.1 必交文件 checklist

text
- [ ] 5 个工作流文件(workflows/)
- [ ] 5 个助手 Prompt(prompts/)
- [ ] 5 个输出格式(outputs/)
- [ ] 3 个 system 规则
- [ ] 5 类 assets(可先做精简版,每库 ≥3 条)
- [ ] 1 个联动案例(examples/)
- [ ] SKILL.md 总入口

9.2 验收标准

  • 同事只看 SKILL.md 能否选对入口并完成一次任务

  • 联动案例是否包含 4 类助手输出 + 统一 P0 风险 + 人工复核勾选


十、常见错误

错误

修复

5 个助手塞进一个 Prompt

拆文件 + SKILL 路由

无统一风险等级

强制引用 system/风险等级规则.md

联动时跳步

写清 workflows/联动工作流.md 顺序

assets 为空

每库至少 3 条真实/仿真条目

无人工复核

每份输出末尾加复核 checklist


十一、本节总结

text
AI 测试工作流工具箱 =
  Bug分析 + 日志排查 + SQL分析 + 回归测试 + Prompt测试
  + 统一 system 规则 + 统一入口 + 联动工作流

最终观点:未来测试人的核心能力,是把测试工作拆成多个可复用助手,让 AI 像测试团队一样协同工作。


附录 A:学习前可准备的附件资料

A.1 单课成果(建议自带)

资料

说明

已写的 Bug 分析 workflow

可迁入 workflows/Bug分析工作流.md

日志排查 workflow + 样例日志

迁入工具箱

SQL 分析 workflow + 样例 SQL

迁入工具箱

回归测试 workflow

迁入工具箱

Prompt 7 段结构范例

用于 Prompt 测试助手

A.2 业务资产(assets/ 最小集)

文件

最少内容

历史Bug库.md

3 条支付/订单类 Bug(现象→根因)

日志规律库.md

5 条关键词→方向映射

SQL风险库.md

5 条慢 SQL 模式(SELECT *、深分页等)

回归规则库.md

改动类型→必回归模块

Prompt测试案例库.md

3 组输入/期望/易错点

A.3 实战输入包(templates/)

文件

用途

bug_input.yaml

Bug 分析助手

log_input.yaml

日志排查助手

sql_input.yaml

SQL 分析助手

release_change.md

回归助手

prompt_test_plan.md

Prompt 测试助手

A.4 联动案例素材

素材

说明

支付成功订单未支付

主场景(Bug+日志+SQL+回归)

traceId=abc123 日志片段

日志助手

order_info + pay_record DDL

SQL 助手

支付回调改动说明

回归助手

A.5 环境与工具

  • Cursor / VS Code

  • Git(版本管理工具箱)

  • 可选:MySQL 客户端(验证 SQL 助手建议)

  • 可选:日志平台只读账号(练习 traceId 查询)

开始使用 ai-test-workflow

扫码添加辅导员,发送 Skill 名称,领取源码与配套资料。

同类 Skills