Prompt 测试工作流
- Skill 标识
prompt-test-skill- 所属分类
- 软件测试 / AI 质量评测
同一段 Prompt,为什么今天完整、明天漏项?从重复运行到边界、错误输入和多轮一致性,建立可复查的评测记录,识别幻觉与无依据推断,把提示词质量从“感觉还行”变成有证据。
本文目录
- Skill 概览
- 适合谁、用在什么场景
- 需要准备什么、能得到什么
- 核心能力与使用边界
- 实战教程与使用说明
- 一、🎯 为什么 Prompt 也需要测试
- 1.1 同一个 Prompt,两次输出完全不同
- 二、📋 Prompt 测试工作流总览
- 三、🛠️ 动手准备:搭建 Prompt 测试目录
- 3.1 创建目录结构
- 3.2 目录职责说明
- 📁 prompts/
- 📁 samples/
- 📁 records/
- 📁 reports/
- 四、① 明确待测 Prompt 的目标
- 4.1 对比:模糊 vs 清晰的目标
- ❌ 目标不清晰
- ✅ 目标清晰
- 4.2 填写「测试目标评估表」
- 五、② 测试 AI 输出稳定性
- 5.1 准备测试样本
- 5.2 执行稳定性测试(3 次)
- 5.3 稳定性检查清单
- 5.4 不稳定表现(需记录到报告)
- 六、③ 测试边界输入
- 6.1 边界输入类型
- 6.2 案例 A:需求过短
- 6.3 案例 B:多模块混合
- 七、④ 测试错误输入
- 7.1 错误输入类型
- 7.2 动手案例
- ✅ 合格输出
- ❌ 不合格输出
- 八、⑤ 测试多轮一致性
- 8.1 多轮测试脚本(同一对话内执行)
- 8.2 检查项
- 8.3 常见失败表现
- 九、⑥ 测试幻觉和无依据推测
- 9.1 动手案例
- ❌ 不合格
- ✅ 合格
- 9.2 幻觉测试四步法
- 十、⑦ 输出 Prompt 测试报告
- 10.1 复制报告模板
- 10.2 填写示例(节选)
- 十一、📦 完整案例:测试「Bug 分析 Prompt」
- 11.1 待测 Prompt
- 11.2 三组测试输入与期望
- 十二、📝 Prompt 测试 workflow 文件怎么写
- 12.1 工作流文件模板
- 12.2 在 Skill 中引用
- 十三、⚠️ Prompt 测试常见错误
- 十四、✍️ 课堂练习:测试一个用例生成 Prompt
- 14.1 练习任务
- 14.2 你需要完成
- 14.3 参考方向(自检用)
- 十五、🏁 本节小结
- 附录 A:学习前可准备的附件资料清单
- A.1 必备资料
- A.2 进阶资料(有则加分)
- A.3 环境与工具
Skill 概览
适合谁、用在什么场景
评估 AI 测试助手、提示词与生成结果质量的测试工程师。
需要准备什么、能得到什么
- 输入材料:待测 Prompt、目标与输出标准,以及正常、边界、错误和证据不足样本。
- 交付产物:执行记录、稳定性与一致性检查结果、问题清单和 Prompt 测试报告。
核心能力与使用边界
- 核心能力:按八步组织样本、重复验证、多轮检查及幻觉评估,保留可复用目录与报告模板。
- 使用边界:少量重复运行不代表统计保证;应固定环境并保留人工判断,不能据此证明模型永不出错。
实战教程与使用说明
一、🎯 为什么 Prompt 也需要测试
很多人写 Prompt 的方式很随意:写一句、试一次、感觉还行,就直接用了。但在真实测试工作里,Prompt 如果不稳定,AI 输出就会忽好忽坏——今天能生成完整用例,明天可能漏掉边界值;这次能分析 Bug,下次可能开始胡乱猜根因。
1.1 同一个 Prompt,两次输出完全不同
待测 Prompt:
请帮我生成登录功能测试用例
第一次输出:
登录成功、密码错误、验证码错误、Token失效
第二次输出:
登录成功、登录失败、忘记密码
问题很明显:输出不稳定,覆盖范围不一致。
核心观点:Prompt 测试的目的,不是测试 AI 聪不聪明,而是测试这个 Prompt 能不能稳定产出符合测试要求的结果。
二、📋 Prompt 测试工作流总览
Prompt 测试不是「试一遍」,而是一套可重复执行的验证流程:
① 明确待测 Prompt 目标
↓
② 设计测试数据(正常 / 边界 / 错误 / 证据不足)
↓
③ 测试输出稳定性(同输入多次运行)
↓
④ 测试边界输入
↓
⑤ 测试错误输入
↓
⑥ 测试多轮一致性
↓
⑦ 测试幻觉和无依据推测
↓
⑧ 输出 Prompt 测试报告
本质是把传统测试思维迁移到 AI 输出质量评估上。
测试维度 | 验证什么 | 不合格信号 |
|---|---|---|
稳定性 | 同输入多次,核心字段不漂移 | 有时有边界值,有时没有 |
边界输入 | 信息过少/过多时仍清晰 | 需求极短却乱编完整方案 |
错误输入 | 识别矛盾,先质疑再生成 | 顺着错误需求硬写用例 |
多轮一致 | 后续轮次遵守前面规则 | 第二轮忘掉输出格式 |
幻觉风险 | 证据不足时克制下结论 | 日志一行就断定根因 |
三、🛠️ 动手准备:搭建 Prompt 测试目录
在开始测试前,我们先创建一套标准目录,把「测试数据、执行记录、报告」分开存放,方便迭代对比。
3.1 创建目录结构
mkdir -p prompt_test/{prompts,samples,records,reports,workflows}
cd prompt_test
# 待测 Prompt(可从 Skill 的 prompts/ 复制过来)
touch prompts/待测Prompt.md
# 测试样本:正常 / 边界 / 错误 / 证据不足
touch samples/01-正常-登录需求.md
touch samples/02-边界-需求过短.md
touch samples/03-边界-多模块混合.md
touch samples/04-错误-业务矛盾.md
touch samples/05-证据不足-日志片段.md
# 单次运行记录 & 最终报告
touch records/运行记录模板.md
touch reports/Prompt测试报告模板.md
# 工作流定义(本节核心产出)
touch workflows/Prompt测试工作流.md
3.2 目录职责说明
📁 prompts/
存放待测 Prompt 文件
每次优化后另存
v2、v3
📁 samples/
固定测试输入,保证可复现
按编号区分场景类型
📁 records/
每次运行的原始输出
稳定性测试至少 3 次/样本
📁 reports/
汇总各维度结论
问题清单 + 优化建议
小贴士:到这一步,你应该能在 Cursor 里看到 prompt_test/ 完整目录树。接下来我们按 7 步流程逐项填写和执行。
四、① 明确待测 Prompt 的目标
测试 Prompt 前,必须先明确它的任务目标。否则你不知道它输出得好不好。
4.1 对比:模糊 vs 清晰的目标
❌ 目标不清晰
请根据需求生成测试用例
无法判断:覆盖哪些场景?输出什么格式?
✅ 目标清晰
根据需求文档生成结构化测试用例,
必须覆盖正常流、异常流、边界值、
业务风险和历史 Bug,并按表格输出。
4.2 填写「测试目标评估表」
打开 prompts/待测Prompt.md,在文件顶部追加测试目标段(可直接复制):
## Prompt 测试目标(测试前填写)
| 评估项 | 是否满足 | 备注 |
|--------|----------|------|
| 是否覆盖核心场景 | ☐ | |
| 是否覆盖边界值 | ☐ | |
| 是否覆盖异常流 | ☐ | |
| 是否按指定格式输出 | ☐ | |
| 是否有无依据扩展 | ☐ | |
| 是否能保持稳定 | ☐ | |
**本 Prompt 要完成的具体任务:**
(例:根据登录 PRD 生成含风险等级的 Markdown 表格用例)
注意:如果 6 项评估里有 2 项以上答不上来,先回去改 Prompt,不要急着跑测试。目标越清晰,后面的测试标准才越清楚。
五、② 测试 AI 输出稳定性
输出稳定性是 Prompt 最基础的测试项:同一个 Prompt、同一份输入,多次执行后,输出结构和核心内容不能大幅漂移。
5.1 准备测试样本
编辑 samples/01-正常-登录需求.md:
# 正常输入样本
用户可以通过手机号验证码登录系统,验证码有效期为 5 分钟。
5.2 执行稳定性测试(3 次)
在 Cursor / Claude Code 中,连续 3 次发送相同请求(每次新开对话,避免上下文干扰):
@prompts/待测Prompt.md
@samples/01-正常-登录需求.md
请按 Prompt 要求生成测试用例。
每次运行后,把完整输出保存到:
records/01-正常-运行1.md
records/01-正常-运行2.md
records/01-正常-运行3.md
5.3 稳定性检查清单
对比 3 份输出,逐项打勾:
是否每次都有「验证码过期」相关用例
是否每次都有「验证码错误」相关用例
是否每次都有「频控 / 重复发送」相关用例
是否每次都有 Token / 会话相关用例
是否每次都按同样字段 / 表格格式输出
5.4 不稳定表现(需记录到报告)
第一次有边界值,第二次没有
第一次有风险等级,第二次没有
第一次表格输出,第二次变成段落
稳定性不是要求每个字一样,而是要求核心字段、核心风险和输出结构稳定。
六、③ 测试边界输入
测试 Prompt 不能只喂正常需求,还要喂边界输入,观察 AI 能不能正确处理极端或不完整场景。
6.1 边界输入类型
类型 | 示例 |
|---|---|
需求特别短 |
|
需求特别长 | 整份 PRD 粘贴(5000+ 字) |
字段信息缺失 | 只写「支持登录」,无方式/规则 |
业务规则模糊 | 「支付成功后处理订单」 |
多需求混合 | 登录+下单+支付+退款写在一段 |
包含冲突信息 | 前后规则互相矛盾 |
6.2 案例 A:需求过短
编辑 samples/02-边界-需求过短.md:
做一个登录。
合格输出:AI 应提示缺少登录方式、账号体系、验证码规则、Token 规则等信息,而不是直接编造完整方案。
6.3 案例 B:多模块混合
编辑 samples/03-边界-多模块混合.md:
用户可以登录、下单、支付、退款、评价、申请售后。
合格输出:AI 应先拆模块(登录 / 订单 / 支付…),而不是把所有用例混在一张表里。
记录方式:在 records/ 中保存输出,并在报告里写「期望行为 vs 实际行为」各一行,便于后续改 Prompt。
七、④ 测试错误输入
错误输入测试,是验证 AI 在输入明显不合理时,是否会主动识别问题,而不是硬生成答案。
7.1 错误输入类型
需求自相矛盾
字段缺失严重
日志内容无关
SQL 语句不完整
Bug 描述没有现象
接口文档缺少 URL 和参数
7.2 动手案例
编辑 samples/04-错误-业务矛盾.md:
用户支付成功后,订单状态应保持未支付。
✅ 合格输出
当前需求存在明显矛盾:支付成功后
订单状态通常应更新为已支付。
请确认业务规则是否特殊。
❌ 不合格输出
直接生成「支付成功但订单
保持未支付」的测试用例。
好的 Prompt,遇到错误输入时应该先质疑和澄清,而不是顺着错误信息继续编。
八、⑤ 测试多轮一致性
很多 AI 测试助手不是一次性使用,而是多轮沟通。如果前面已经定义了规则,后面输出不能突然忘掉。
8.1 多轮测试脚本(同一对话内执行)
第一轮——定义规则:
支付功能必须重点覆盖幂等、库存回滚、优惠券状态。
后续所有用例必须按 Markdown 表格输出,含风险等级列。
第二轮——触发任务:
@prompts/待测Prompt.md
需求:用户可使用微信/支付宝完成订单支付。
请生成支付测试用例。
8.2 检查项
是否仍然覆盖幂等
是否仍然覆盖库存回滚
是否仍然覆盖优惠券状态
是否仍然按 Markdown 表格 + 风险等级列输出
8.3 常见失败表现
第一轮说按表格输出,第二轮变成段落
第一轮定义 P0 风险,第二轮不再标风险等级
第一轮要求不确认根因,第二轮直接下结论
九、⑥ 测试幻觉和无依据推测
AI 最大的风险,不是不会回答,而是在证据不足时给出很确定的结论。
9.1 动手案例
编辑 samples/05-证据不足-日志片段.md:
ERROR order failed
❌ 不合格
根因是数据库连接池耗尽。
✅ 合格
当前日志信息不足,无法确认根因。
建议补充 traceId、完整调用链、
接口请求/响应、数据库日志。
9.2 幻觉测试四步法
给 AI 缺少证据的输入
观察它是否硬猜根因
检查是否说明「不足以判断」
检查是否提出需要补充的信息
在 Prompt 的限制条件段加入类似约束可显著降低幻觉:
## 限制条件
- 无日志 / 无接口响应 / 无 SQL 结果时,不得给出确定根因
- 必须列出「还需补充的证据清单」
- 推测须标注「待验证假设」
十、⑦ 输出 Prompt 测试报告
Prompt 测试不能只靠感觉,要输出结构化报告,记录测试输入、实际输出、问题、风险和优化建议。
10.1 复制报告模板
打开 reports/Prompt测试报告模板.md,填入以下内容:
# Prompt 测试报告
## 基本信息
| 字段 | 内容 |
|------|------|
| Prompt 名称 | (例:支付用例生成 Prompt v1) |
| 测试日期 | YYYY-MM-DD |
| 测试人 | |
| Prompt 版本 | v1 / v2 |
| 测试轮次 | 稳定性 ×3;其余各 ×1 |
## 测试目标
(粘贴 prompts/待测Prompt.md 中的目标描述)
## 测试样本清单
| 编号 | 样本文件 | 类型 | 通过 |
|------|----------|------|------|
| 01 | samples/01-正常-登录需求.md | 正常 | ☐ |
| 02 | samples/02-边界-需求过短.md | 边界 | ☐ |
| 03 | samples/03-边界-多模块混合.md | 边界 | ☐ |
| 04 | samples/04-错误-业务矛盾.md | 错误 | ☐ |
| 05 | samples/05-证据不足-日志片段.md | 幻觉 | ☐ |
## 各维度结果
### 稳定性(3 次运行)
- 核心字段是否一致:
- 输出格式是否一致:
- 主要漂移项:
### 边界输入
- 过短需求处理:
- 多模块拆分:
### 错误输入
- 是否识别矛盾:
### 多轮一致性
- 规则是否延续:
### 幻觉风险
- 证据不足时是否克制:
## 问题清单
| # | 问题描述 | 严重度 | 复现步骤 |
|---|----------|--------|----------|
| 1 | | P0/P1/P2 | |
## 优化建议
1. (例:在 Prompt 中增加「必须覆盖项」清单)
2. (例:增加「输入矛盾时先澄清」规则)
## 结论
- [ ] 通过,可进入 Skill 集成
- [ ] 基本可用,需小改后再测一轮
- [ ] 不通过,需重写 Prompt 目标段
## 附录:运行记录路径
- records/01-正常-运行1.md
- records/01-正常-运行2.md
- …
10.2 填写示例(节选)
Prompt 名称:支付用例生成 Prompt v1
测试结论:基本可用,但稳定性不足
主要问题:第二次运行漏掉优惠券状态;错误输入时未主动提示矛盾
优化建议:在 Prompt 中增加必须覆盖项和异常输入处理规则
十一、📦 完整案例:测试「Bug 分析 Prompt」
下面我们用完整案例串一遍 7 步流程,你可以对照自己的 prompt_test/ 目录逐项执行。
11.1 待测 Prompt
请根据 Bug 描述分析可能原因,并给出回归建议。
建议先优化为带限制条件的版本,再开始测试(见 4.1 节「目标清晰」写法)。
11.2 三组测试输入与期望
场景 | 输入 | 期望 |
|---|---|---|
正常 | 用户支付成功,但订单状态仍显示未支付 | 分析支付回调、订单状态、MQ、事务;输出回归范围 |
证据不足 | 订单有问题 | 提示缺少复现步骤、日志、订单号等 |
错误输入 | 支付失败后订单应显示支付成功 | 识别需求矛盾,提示确认业务规则 |
一个 Prompt 是否合格,要看它在正常、边界、错误、证据不足场景下是否都能稳定工作。
十二、📝 Prompt 测试 workflow 文件怎么写
把上述 7 步固化成 workflow 文件,便于团队复用和 Agent 自动执行。
12.1 工作流文件模板
编辑 workflows/Prompt测试工作流.md:
# Prompt 测试工作流
## 输入
- 待测 Prompt(prompts/待测Prompt.md)
- 测试目标(Prompt 顶部评估表)
- 测试样本(samples/ 目录)
- 期望输出规则(outputs/ 或 Prompt 内⑥段)
## 执行步骤
1. 明确 Prompt 目标,填写评估表 6 项
2. 使用正常样本(01)测试输出质量
3. 对 01 样本连续运行 3 次,记录稳定性
4. 使用边界样本(02、03)测试鲁棒性
5. 使用错误样本(04)测试纠错能力
6. 同一对话多轮测试,验证规则延续
7. 使用证据不足样本(05)测试幻觉风险
8. 汇总 records/,填写 reports/Prompt测试报告模板.md
## 输出
- 各样本运行记录(records/)
- 问题清单 + 风险等级
- 优化建议 + 是否通过
- 下一版 Prompt(prompts/待测Prompt-v2.md)
12.2 在 Skill 中引用
@workflows/Prompt测试工作流.md
@prompts/待测Prompt.md
请按工作流对当前 Prompt 执行完整测试,
并把报告写入 reports/。
Prompt 测试 workflow 的价值,是让 Prompt 从「经验调试」变成工程化验证。
十三、⚠️ Prompt 测试常见错误
错误做法 | 正确做法 |
|---|---|
只测一次,觉得能用就上线 | 稳定性至少 3 次;各类型样本至少 1 次 |
只测正常输入 | 边界 + 错误 + 证据不足都要测 |
只看内容多不多 | 看核心字段、格式、风险是否稳定 |
不测多轮一致性 | 同一对话内先定规则再测任务 |
不测幻觉 | 专门准备「证据不足」样本 |
Prompt 测试最怕「凭感觉好用」。工作流的价值是让 Prompt 质量可验证、可迭代、可交接。
十四、✍️ 课堂练习:测试一个用例生成 Prompt
14.1 练习任务
待测 Prompt:
请根据需求生成测试用例。
测试样本:
用户可以通过手机号验证码登录系统。
14.2 你需要完成
搭建 prompt_test/ 目录(第三节)
稳定性:重复运行 3 次,检查验证码频控/过期/Token
边界:输入「做一个登录」,看是否提示信息不足
错误:输入「验证码有效期为 -5 分钟」,看是否识别异常
多轮:先定义表格格式,再观察后续是否保持
幻觉:需求缺少验证码规则时,是否编造频控规则
填写完整测试报告并给出通过/不通过结论
14.3 参考方向(自检用)
稳定性:3 次都覆盖验证码频控、过期、Token
边界:「做一个登录」→ 应追问登录方式/规则
错误:「有效期 -5 分钟」→ 应指出参数不合理
多轮:第二轮仍用表格 + 风险列
幻觉:无频控规则时不应编造「每分钟最多 3 次」
十五、🏁 本节小结
Prompt 测试工作流 =
为什么测 + 明确目标
+ 稳定性 + 边界 + 错误
+ 多轮一致 + 幻觉控制
+ 结构化测试报告
未来测试人不只是测试软件,也要测试 AI 工作流本身。Prompt 能不能稳定、可靠、可控,决定了 AI 测试 Skill 能不能真正进入企业测试流程。
下一步可以:① 把本教程产出的 workflows/Prompt测试工作流.md 接入你的 Skill;② 对团队现有 3–5 个 Prompt 各跑一轮完整测试;③ 建立 Prompt 版本号规范(v1 不通过不改目录名,改内容另存 v2)。
附录 A:学习前可准备的附件资料清单
测试 Prompt 时,样本越贴近真实业务,结论越有参考价值。建议课前整理为可 @ 引用的文件,放入 samples/ 与 assets/。
A.1 必备资料
资料 | 用于哪一步 | 建议格式 |
|---|---|---|
1 份待测 Prompt(用例生成 / Bug 分析 任选) | 全流程 |
|
1 份正常需求 PRD 片段 | 稳定性 + 正常样本(01) | .md / 飞书导出 |
1 条真实 Bug 单(含描述,可脱敏) | Bug 分析 Prompt 完整案例 | 禅道 / Jira 导出 |
2–3 条脱敏日志片段 | 幻觉测试样本(05) | .txt / .log |
团队输出模板(用例表 / Bug 报告列名) | 判断「格式是否稳定」 | .xlsx → 列名清单 .md |
已写好的 system 文件(4.2 节产出) | 与 Prompt 联调测试 |
|
A.2 进阶资料(有则加分)
边界样本库:过短需求、超长 PRD、多模块混合各 1 份
错误样本库:业务矛盾、字段缺失、接口文档残缺各 1 份
历史 Prompt 测试报告 1 份:作为报告模板对照
优秀 vs 劣质 AI 输出对比:稳定性漂移前后各 1 份
多轮对话脚本:第一轮定规则、第二轮出结果的固定话术
A.3 环境与工具
Cursor / Claude Code(@ 引用
prompts/、samples/、workflows/)文本对比:diff 工具或 IDE 并排对比 3 次稳定性输出
可选:Git 管理 Prompt 版本,测试报告与 commit 关联
可选:表格记录通过率,便于团队 Prompt 评审会使用
本节课对应的skill全文档:
扫码添加辅导员,发送 Skill 名称,领取源码与配套资料。