大模型（LLM）的爆炸式增長顯著降低了AI的應用門檻，推動了LLM在軟件開發(fā)領域的廣泛應用，也為軟件測試帶來了變革與挑戰(zhàn)。本書旨在幫助軟件測試工程師用LLM提升測試能力，圍繞LLM的思維模式、技術和上下文3個核心要素展開。第1部分介紹LLM在測試中的作用及價值，探討其內(nèi)部機制與提示詞工程概念，分析AI、自動化和測試的關系；第2部分展示測試活動與LLM輔助工具結合的方法，如提升代碼質量、增強測試計劃能力、創(chuàng)建測試數(shù)據(jù)、應用于探索性測試等；第3部分闡述上下文對LLM的重要性，介紹添加上下文的技術，如構建RAG框架、微調(diào)模型等。
本書適合掌握一定自動化測試基本概念，具備探索性測試基本經(jīng)驗以及數(shù)據(jù)管理和相關數(shù)據(jù)結構中級知識，對YAML格式化和命令行工具有基本了解的質量保證工程師和軟件測試工程師，以及希望進一步了解LLM如何幫助生成代碼和測試自動化的開發(fā)人員閱讀。
【全面覆蓋】圍繞思維模式、技術和上下文 3 個核心要素，全面探討 LLM 在軟件測試中的應用，幫助測試工程師提升測試能力。
【案例豐富】提供大量實際案例，展示如何將 LLM 與測試活動相結合，如提升代碼質量、增強測試計劃能力、創(chuàng)建測試數(shù)據(jù)等。
【理性務實】既強調(diào) LLM 的強大支持，又重視人類判斷力和理解力的重要性，避免 技術濫用。
【技術前沿】介紹添加上下文的技術，如構建 RAG 框架、微調(diào)模型等，提升 LLM 的應用效果。
馬克·溫特林厄姆（Mark Winteringham）是一名質量工程師、課程總監(jiān)，也是Testing Web APIs一書的作者。他是基于風險的現(xiàn)代測試實踐、基于整體的自動化策略、行為驅動開發(fā)和探索性測試技術的倡導者。
第 1部分 思維模式：與LLM建立積極的關系
第 1章 利用大模型來輔助測試 3
1.1 認識AI工具對測試和
開發(fā)的影響 4
1.1.1 數(shù)據(jù)生成 4
1.1.2 自動化測試構建 5
1.1.3 測試設計 5
1.2 利用LLM創(chuàng)造價值 5
1.2.1 交付價值的模式 5
1.2.2 結合人類和AI的能力 6
1.2.3 對LLM保持懷疑態(tài)度 11
小結 11
第 2章 大模型和提示詞工程 13
2.1 LLM解釋 14
2.2 降低使用LLM的風險 16
2.2.1 幻覺 16
2.2.2 數(shù)據(jù)來源 16
2.2.3 數(shù)據(jù)隱私 17
2.3 利用提示詞工程改善結果 18
2.4 檢驗提示詞工程的原則 20
2.4.1 原則1：撰寫清晰而具體的提示詞 20
2.4.2 策略1：使用分隔符 20
2.4.3 策略2：要求結構化輸出 21
2.4.4 策略3：檢查假設 22
2.4.5 策略4：少樣本提示詞 25
2.4.6 原則2：給模型思考的時間 25
2.4.7 策略1：明確完成任務的步驟 26
2.4.8 策略2：引導模型先找出自己的解決方案 27
2.5 嘗試各種LLM 29
2.5.1 比較各類LLM 29
2.5.2 嘗試流行的LLM 30
2.6 創(chuàng)建提示詞庫 32
2.7 使用提示詞解決問題 33
小結 34
第3章 人工智能、自動化和測試 35
3.1 測試的價值 35
3.1.1 不同的測試思維方式 36
3.1.2 更全面的測試方法 38
3.2 工具如何幫助測試 39
3.2.1 自動化偏差 39
3.2.2 有選擇地使用工具 39
3.3 了解何時在測試中使用LLM 41
3.3.1 生成能力 41
3.3.2 轉換能力 42
3.3.3 增強能力 43
3.3.4 測試中使用的LLM 43
小結 44
第 2部分 技術：測試中的任務識別和提示詞工程
第4章 面向開發(fā)人員的AI輔助測試 47
4.1 自動化開發(fā)人員的崛起 48
4.2 與LLM協(xié)作 50
4.2.1 分析想法 50
4.2.2 分析代碼 53
4.2.3 認識到模擬的重要性 55
4.3 利用AI輔助提高產(chǎn)品質量 55
4.4 利用LLM創(chuàng)建第 一個TDD循環(huán) 56
4.4.1 準備工作 57
4.4.2 循環(huán)1：保存工期表條目 59
4.4.3 循環(huán)2：檢索工時表條目 60
4.4.4 循環(huán)3：計算項目工時 62
4.4.5 重構代碼 63
4.5 使用LLM改進文檔和溝通 68
4.5.1 生成代碼注釋 69
4.5.2 生成發(fā)布說明 73
4.6 尋求與代碼助手之間的平衡 76
小結 76
第5章 AI輔助的測試計劃 78
5.1 現(xiàn)代測試中測試計劃的定義 79
5.1.1 測試計劃、LLM和影響域 79
5.2 通過模型進行重點引導 80
5.2.1 不精準的提示詞導致不精準的建議 80
5.2.2 什么是模型，為什么模型可以幫助我們理解 81
5.3 結合模型和LLM來協(xié)助測試計劃 82
5.3.1 創(chuàng)建明確提示詞的模型 82
5.3.2 嘗試不同的模型類型 88
5.4 LLM與測試用例 91
5.4.1 對生成的風險和測試用例持適當?shù)膽岩蓱B(tài)度 93
小結 93
第6章 利用AI快速創(chuàng)建數(shù)據(jù) 94
6.1 使用LLM生成和轉換數(shù)據(jù) 94
6.1.1 引導LLM生成簡單數(shù)據(jù)集 95
6.1.2 將測試數(shù)據(jù)轉換為不同格式 99
6.2 使用LLM處理復雜的測試數(shù)據(jù) 101
6.2.1 在提示詞中使用格式標準 101
6.2.2 作為提示詞引導的SQL導出 106
6.3 將LLM設置為測試數(shù)據(jù)管理器 109
6.3.1 設置OpenAI賬戶 109
6.3.2 連接OpenAI 111
6.4 從測試數(shù)據(jù)生成中獲益 115
小結 116
第7章 利用AI加速和改進UI自動化 117
7.1 快速創(chuàng)建UI自動化 117
7.1.1 設置項目 121
7.1.2 利用ChatGPT輔助創(chuàng)建初始校驗 123
7.1.3 從生成的代碼中填補空白 129
7.2 改進現(xiàn)有的UI自動化 131
7.2.1 更新狀態(tài)管理以使用適當?shù)膶印?31
7.2.2 熟練使用AI工具 136
小結 136
第8章 利用AI輔助探索性測試 137
8.1 使用LLM組織探索性測試 138
8.1.1 用LLM增強已識別的風險 138
8.1.2 用LLM擴充準則列表 142
8.2 在探索性測試中使用LLM 144
8.2.1 建立理解 145
8.2.2 創(chuàng)建會話的數(shù)據(jù)要求 147
8.2.3 探索和跟進缺陷 151
8.2.4 使用LLM協(xié)助探索性測試 153
8.3 用LLM總結測試記錄 154
小結 158
第9章 作為測試助手的AI智能體 159
9.1 理解AI智能體和LLM 159
9.1.1 AI智能體的定義 160
9.1.2 智能體如何與LLM配合工作 160
9.2 創(chuàng)建AI測試助手 161
9.2.1 設置虛擬AI智能體 162
9.2.2 賦予AI智能體執(zhí)行函數(shù) 165
9.2.3 將工具串聯(lián)起來 169
9.3 利用AI測試助手向前邁進 172
9.3.1 AI測試助手示例 172
9.3.2 應對與智能體合作的挑戰(zhàn) 175
小結 176
第3部分 上下文：為測試上下文定制LLM
第 10章 引入定制的LLM 179
10.1 LLM和上下文面臨的挑戰(zhàn) 179
10.1.1 詞元、上下文窗口和限制 181
10.1.2 嵌入上下文作為解決方案 183
10.2 將上下文進一步嵌入提示詞和LLM中 183
10.2.1 RAG 184
10.2.2 微調(diào)LLM 185
10.2.3 比較兩種方法 188
10.2.4 結合RAG和微調(diào) 190
小結 190
第 11章 基于RAG的上下文提示詞 192
11.1 利用RAG擴展提示詞 192
11.2 構建RAG框架 194
11.2.1 構建我們自己的RAG框架 195
11.2.2 測試RAG框架 203
11.3 提升RAG的數(shù)據(jù)存儲能力 205
11.3.1 使用向量數(shù)據(jù)庫 205
11.3.2 建立基于向量數(shù)據(jù)庫的RAG 207
11.3.3 測試基于向量數(shù)據(jù)庫的RAG框架 209
11.3.4 繼續(xù)推進RAG框架 211
小結 212
第 12章 使用業(yè)務領域知識微調(diào)LLM 213
12.1 探索微調(diào)過程 213
12.1.1 微調(diào)過程概覽 214
12.1.2 目標設定 214
12.2 執(zhí)行微調(diào)環(huán)節(jié) 215
12.2.1 準備訓練數(shù)據(jù) 215
12.2.2 預處理和設置 219
12.2.3 使用微調(diào)工具 224
12.2.4 啟動微調(diào)運行 224
12.2.5 測試微調(diào)結果 225
12.2.6 微調(diào)的經(jīng)驗教訓 228
小結 228
附錄A 設置和使用ChatGPT 230
附錄B 設置和使用GitHub Copilot 233
B.1 設置Copilot 233
B.1.1 設置Copilot賬戶 234
B.1.2 安裝Copilot插件 234
B.1.3 授予Copilot賬戶訪問權限 234
B.2 使用Copilot 236
B.2.1 探索建議 236
附錄C 探索性測試記錄 238
書單推薦
