目錄
前言
第1章緒論1
1.1裝配監(jiān)測的意義1
1.2裝配監(jiān)測的研究現(xiàn)狀2
1.2.1裝配監(jiān)測2
1.2.2動(dòng)作識(shí)別3
1.2.3圖像變化檢測7
1.2.4位姿估計(jì)9
1.2.5深度學(xué)習(xí)網(wǎng)絡(luò)模型部署11
1.3本書主要內(nèi)容12
第2章卷積神經(jīng)網(wǎng)絡(luò)與Transformer模型理論基礎(chǔ)14
2.1卷積神經(jīng)網(wǎng)絡(luò)14
2.1.1卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)14
2.1.2卷積神經(jīng)網(wǎng)絡(luò)主要模塊16
2.1.3卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程18
2.2Transformer模型19
2.3深度學(xué)習(xí)網(wǎng)絡(luò)框架及部署工具20
2.3.1深度學(xué)習(xí)網(wǎng)絡(luò)框架20
2.3.2部署工具20
2.4本章小結(jié)21
第3章基于深度學(xué)習(xí)的裝配動(dòng)作識(shí)別22
3.1基于表面肌電信號(hào)和慣性信號(hào)的裝配動(dòng)作識(shí)別方法22
3.1.1裝配動(dòng)作識(shí)別流程22
3.1.2信號(hào)采集23
3.1.3信號(hào)預(yù)處理24
3.1.4基于通道注意力時(shí)空特征的卷積神經(jīng)網(wǎng)絡(luò)26
3.1.5實(shí)驗(yàn)環(huán)境參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)28
3.1.6模型實(shí)驗(yàn)驗(yàn)證29
3.2基于注意力機(jī)制和多尺度特征融合動(dòng)態(tài)圖卷積網(wǎng)絡(luò)的裝配動(dòng)作識(shí)別方法32
3.2.1基于注意力機(jī)制和多尺度特征融合的動(dòng)態(tài)圖卷積網(wǎng)絡(luò)33
3.2.2數(shù)據(jù)集的制作37
3.2.3實(shí)驗(yàn)結(jié)果與分析39
3.3基于視頻幀運(yùn)動(dòng)激勵(lì)聚合和時(shí)序差分網(wǎng)絡(luò)的裝配動(dòng)作識(shí)別方法45
3.3.1運(yùn)動(dòng)激勵(lì)聚合和時(shí)序差分網(wǎng)絡(luò)45
3.3.2數(shù)據(jù)集的制作50
3.3.3實(shí)驗(yàn)結(jié)果與分析50
3.4本章小結(jié)56
第4章基于深度學(xué)習(xí)的機(jī)械裝配體多視角變化檢測與位姿估計(jì)57
4.1基于深度圖像注意力機(jī)制特征提取的機(jī)械裝配體多視角變化檢測方法57
4.1.1基于深度圖像注意力機(jī)制特征提取的多視角變化檢測網(wǎng)絡(luò)57
4.1.2數(shù)據(jù)集的制作62
4.1.3實(shí)驗(yàn)環(huán)境與指標(biāo)選取64
4.1.4實(shí)驗(yàn)結(jié)果與分析65
4.2基于三維注意力和雙邊濾波的機(jī)械裝配體多視角變化檢測方法70
4.2.1基于三維注意力和雙邊濾波的變化檢測網(wǎng)絡(luò)70
4.2.2數(shù)據(jù)集的制作74
4.2.3實(shí)驗(yàn)環(huán)境和指標(biāo)選取75
4.2.4實(shí)驗(yàn)結(jié)果與分析76
4.3基于深度學(xué)習(xí)的機(jī)械裝配體零件多視角位姿估計(jì)方法79
4.3.1機(jī)械裝配體零件多視角位姿估計(jì)網(wǎng)絡(luò)79
4.3.2DenseFusion位姿估計(jì)網(wǎng)絡(luò)79
4.3.3數(shù)據(jù)集的制作82
4.3.4實(shí)驗(yàn)環(huán)境與指標(biāo)選取84
4.3.5實(shí)驗(yàn)結(jié)果與分析84
4.4本章小結(jié)86
第5章基于Transformer的機(jī)械裝配體多視角變化檢測與裝配順序監(jiān)測87
5.1基于深度可分離卷積的特征融合和特征細(xì)化的機(jī)械裝配體多視角變化檢測方法87
5.1.1基于深度可分離卷積的特征融合和特征細(xì)化的多視角變化檢測網(wǎng)絡(luò)87
5.1.2數(shù)據(jù)集的制作90
5.1.3實(shí)驗(yàn)環(huán)境與指標(biāo)選取91
5.1.4實(shí)驗(yàn)結(jié)果和分析92
5.2基于機(jī)械裝配體圖像多視角語義變化檢測的裝配順序監(jiān)測方法96
5.2.1裝配順序監(jiān)測方法96
5.2.2數(shù)據(jù)集的制作102
5.2.3實(shí)驗(yàn)環(huán)境與指標(biāo)選取104
5.2.4實(shí)驗(yàn)對(duì)比的其他變化檢測網(wǎng)絡(luò)105
5.2.5實(shí)驗(yàn)結(jié)果與分析108
5.3本章小結(jié)113
第6章基于深度學(xué)習(xí)的RV減速器裝配監(jiān)測與部署114
6.1RV減速器裝配圖像采集試驗(yàn)臺(tái)及數(shù)據(jù)集制作114
6.1.1RV減速器裝配圖像采集試驗(yàn)臺(tái)114
6.1.2RV減速器裝配語義分割數(shù)據(jù)集118
6.1.3RV減速器螺釘目標(biāo)檢測數(shù)據(jù)集122
6.1.4RV減速器針齒目標(biāo)檢測數(shù)據(jù)集123
6.2基于深度學(xué)習(xí)的RV減速器裝配監(jiān)測方法124
6.2.1語義分割網(wǎng)絡(luò)模型選擇124
6.2.2語義分割網(wǎng)絡(luò)模型訓(xùn)練128
6.2.3目標(biāo)檢測網(wǎng)絡(luò)模型選擇130
6.2.4目標(biāo)檢測網(wǎng)絡(luò)模型訓(xùn)練132
6.3基于目標(biāo)檢測的針齒安裝監(jiān)測方法133
6.3.1改進(jìn)RetinaNet目標(biāo)檢測網(wǎng)絡(luò)模型133
6.3.2改進(jìn)RetinaNet模型與YOLOv5s模型對(duì)比143
6.4RV減速器裝配監(jiān)測軟件設(shè)計(jì)145
6.4.1圖像采集模塊145
6.4.2圖像預(yù)測模塊147
6.4.3零件監(jiān)測模塊149
6.4.4界面操作模塊152
6.4.5RV減速器零件漏裝監(jiān)測實(shí)驗(yàn)155
6.4.6RV減速器針齒安裝監(jiān)測實(shí)驗(yàn)158
6.5本章小結(jié)160
第7章總結(jié)與展望161
7.1本書總結(jié)161
7.2研究展望162
參考文獻(xiàn)164