第 一部分　認(rèn)識(shí)向量數(shù)據(jù)庫(kù)

第 1章　向量數(shù)據(jù)庫(kù)基礎(chǔ)　2

1.1　向量　2

1.1.1　什么是向量　2

1.1.2　萬(wàn)物皆可向量　4

1.1.3　向量間的相似度　6

1.1.4　相似度應(yīng)用案例　8

1.2　數(shù)據(jù)庫(kù)　11

1.2.1　什么是數(shù)據(jù)庫(kù)　11

1.2.2　關(guān)系型數(shù)據(jù)庫(kù)　13

1.2.3　非關(guān)系型數(shù)據(jù)庫(kù)　14

1.2.4　傳統(tǒng)數(shù)據(jù)庫(kù)的限制　15

1.3　為什么需要向量數(shù)據(jù)庫(kù)　16

1.3.1　向量數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的差異　16

1.3.2　向量數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生　17

1.3.3　大模型時(shí)代的智能存儲(chǔ)平臺(tái)　18

1.4　小結(jié)　19

第 2章　向量數(shù)據(jù)庫(kù)極簡(jiǎn)史　21

2.1　孕育期（19802012）　21

2.1.1　深度神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展　22

2.1.2　深度神經(jīng)網(wǎng)絡(luò)vs向量數(shù)據(jù)庫(kù)　23

2.2　誕生期（20122017）　24

2.3　成長(zhǎng)期（2017年至今）　25

2.3.1　行業(yè)發(fā)展簡(jiǎn)況　26

2.3.2　代表性產(chǎn)品能力對(duì)比　27

2.3.3　代表性產(chǎn)品技術(shù)架構(gòu)　28

2.4　小結(jié)　32

第3章　向量數(shù)據(jù)庫(kù)的核心能力　33

3.1　基礎(chǔ)能力　33

3.1.1　邏輯層次　34

3.1.2　索引　39

3.1.3　關(guān)鍵指標(biāo)　42

3.2　高階能力　43

3.2.1　動(dòng)態(tài)schema　43

3.2.2　別名機(jī)制　44

3.2.3　向量化　45

3.2.4　混合查詢(xún)　46

3.3　小結(jié)　47

第二部分　構(gòu)建向量數(shù)據(jù)庫(kù)

第4章　實(shí)現(xiàn)單機(jī)向量數(shù)據(jù)庫(kù)　50

4.1　實(shí)現(xiàn)向量數(shù)據(jù)索引　50

4.1.1　FAISS核心功能　51

4.1.2　實(shí)現(xiàn)扁平索引　56

初始版本v0.0.1　62

4.1.3　HNSWLib核心功能　63

4.1.4　實(shí)現(xiàn)HNSW索引　70

版本迭代v0.0.2　73

4.2　實(shí)現(xiàn)混合數(shù)據(jù)索引　74

4.2.1　實(shí)現(xiàn)標(biāo)量數(shù)據(jù)索引　74

4.2.2　統(tǒng)一管理入口　 76

版本升級(jí)v0.1 　 79

4.2.3　實(shí)現(xiàn)過(guò)濾索引　 80

版本迭代v0.1.1　 86

4.3　實(shí)現(xiàn)系統(tǒng)異�；謴�(fù)　 87

4.3.1　數(shù)據(jù)日志持久化　 87

版本迭代v0.1.2　 91

4.3.2　數(shù)據(jù)快照持久化　 92

版本升級(jí)v0.2　 97

4.4　小結(jié)　 97

第5 章　實(shí)現(xiàn)分布式向量數(shù)據(jù)庫(kù)　 99

5.1　集群數(shù)據(jù)管理　 100

5.1.1　認(rèn)識(shí)NuRaft　 102

5.1.2　建立主從關(guān)系　 106

5.1.3　實(shí)現(xiàn)數(shù)據(jù)復(fù)制　 110

版本升級(jí)v0.3　 113

5.2　集群流量管理　 113

5.2.1　集群的元數(shù)據(jù)管理　 114

5.2.2　統(tǒng)一的流量入口　 117

5.2.3　讀寫(xiě)分離　 121

5.2.4　保證讀寫(xiě)一致性　 122

版本升級(jí)v0.4　 123

5.3　集群異常管理　 123

5.3.1　發(fā)現(xiàn)新主節(jié)點(diǎn)　 123

5.3.2　發(fā)現(xiàn)故障從節(jié)點(diǎn)　 125

5.3.3　實(shí)現(xiàn)故障切換　 127

版本升級(jí)v0.5　 128

5.4　集群的分片　 130

5.4.1　配置集群的分片策略　 130

5.4.2　根據(jù)分片策略轉(zhuǎn)發(fā)請(qǐng)求　 132

版本升級(jí)v0.6　 139

5.5　小結(jié)　 140

第6 章　優(yōu)化向量數(shù)據(jù)庫(kù)　 142

6.1　性能優(yōu)化　 143

6.1.1　利用指令集優(yōu)化向量計(jì)算　 143

6.1.2　優(yōu)化查詢(xún)算法　 144

6.1.3　優(yōu)化通信協(xié)議　 147

6.1.4　自定義基準(zhǔn)測(cè)試工具　 149

6.2　成本優(yōu)化　 154

6.2.1　多模塊混合部署　 155

6.2.2　單節(jié)點(diǎn)部署　 158

6.3　易用性?xún)?yōu)化　 160

6.3.1　SDK　 160

6.3.2　訪問(wèn)鑒權(quán)　 162

6.3.3　數(shù)據(jù)備份　 169

6.4　小結(jié)　 172

第三部分　向量數(shù)據(jù)庫(kù)的實(shí)踐與展望

第7 章　向量數(shù)據(jù)庫(kù)實(shí)踐案例　 176

7.1　搭建圖片查詢(xún)系統(tǒng)　 176

7.1.1　圖片向量化　 176

7.1.2　圖片上傳和查詢(xún)　 179

7.1.3　系統(tǒng)效果一覽　 181

7.2　搭建個(gè)人知識(shí)庫(kù)　 182

7.2.1　知識(shí)預(yù)處理　 182

7.2.2　知識(shí)向量化　 183

7.2.3　知識(shí)庫(kù)管理　 184

7.2.4　知識(shí)問(wèn)答　 185

7.2.5　系統(tǒng)效果一覽　 186

7.3　小結(jié)　 187

第8 章　展望　 189

8.1　從行業(yè)演進(jìn)視角看　 190

8.1.1　人類(lèi)調(diào)度數(shù)據(jù)新范式　 190

8.1.2　向量數(shù)據(jù)抹平數(shù)據(jù)格式差異　 192

8.1.3　向量數(shù)據(jù)庫(kù)平臺(tái)化的關(guān)鍵　 193

8.2　從行業(yè)應(yīng)用視角看　 194

8.2.1　RAG 簡(jiǎn)介　 195

8.2.2　降低RAG 使用門(mén)檻　 196

8.3　小結(jié)　 197