所謂模式識(shí)別就是用計(jì)算的方法根據(jù)樣本的特征將樣本劃分到一定的類別中。模式識(shí)別是通過計(jì)算機(jī)用數(shù)學(xué)技術(shù)方法研究模式的自動(dòng)處理和判讀,把環(huán)境與客體統(tǒng)稱為模式。隨著科技的發(fā)展,模式識(shí)別技術(shù)在社會(huì)中的應(yīng)用越來越廣泛,涵蓋許多領(lǐng)域,例如金融、醫(yī)療、安全等。模式識(shí)別技術(shù)能夠通過對(duì)大量數(shù)據(jù)進(jìn)行分析和處理,從中提煉出有用信息,對(duì)于決策和解決問題非常有幫助。目前,模式識(shí)別技術(shù)已經(jīng)進(jìn)入成熟階段,應(yīng)用場(chǎng)景也越來越廣泛。
本書以實(shí)用性為宗旨,以對(duì)酒瓶顏色的分類設(shè)計(jì)為例,將理論與實(shí)踐相結(jié)合,介紹各種相關(guān)分類器的設(shè)計(jì)。
第1章介紹模式識(shí)別的概念、方法及其應(yīng)用。
第2章介紹貝葉斯分類器的設(shè)計(jì)。首先介紹貝葉斯決策的概念,讓讀者對(duì)貝葉斯理論有所了解,然后介紹基于最小錯(cuò)誤率和最小風(fēng)險(xiǎn)的貝葉斯分類器設(shè)計(jì),將理論應(yīng)用于實(shí)踐,讓讀者真正學(xué)會(huì)運(yùn)用該算法解決實(shí)際問題。
第3章介紹判別函數(shù)分類器的設(shè)計(jì)。判別函數(shù)包括線性判別函數(shù)和非線性判別函數(shù),本章首先介紹判別函數(shù)的相關(guān)概念,然后介紹線性判別函數(shù)LMSE和Fisher分類器的設(shè)計(jì)及非線性判別函數(shù)SVM分類器的設(shè)計(jì)。
第4章介紹聚類分析。聚類分析作為最基礎(chǔ)的分類方法,涵蓋大量經(jīng)典的聚類算法及衍生出的改進(jìn)算法。本章首先介紹相關(guān)理論知識(shí),然后依次介紹K均值聚類、K均值改進(jìn)算法、KNN聚類、PAM聚類、層次聚類及ISODATA分類器設(shè)計(jì)。
第5章介紹模糊聚類分析。首先介紹模糊邏輯的發(fā)展、模糊數(shù)學(xué)理論、模糊邏輯與模糊推理等一整套模糊控制理論,然后介紹模糊分類器、模糊C均值分類器、模糊ISODATA分類器及模糊神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計(jì)。
第6章介紹神經(jīng)網(wǎng)絡(luò)聚類設(shè)計(jì)。首先介紹神經(jīng)網(wǎng)絡(luò)的概念及其模型等理論知識(shí),然后介紹基于BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)、GRNN、小波神經(jīng)網(wǎng)絡(luò)、自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)、SOM網(wǎng)絡(luò)、LVQ網(wǎng)絡(luò)、PNN、CPN的分類器設(shè)計(jì)。
第7章介紹模擬退火算法聚類設(shè)計(jì)。首先介紹模擬退火算法的基本原理、基本過程,然后介紹其分類器的設(shè)計(jì)。
第8章介紹遺傳算法聚類設(shè)計(jì),包括遺傳算法原理及遺傳算法分類器設(shè)計(jì)的詳細(xì)過程。
第9章介紹蟻群算法聚類設(shè)計(jì),包括蟻群算法的基本原理、基于蟻群基本算法的分類器設(shè)計(jì)和改進(jìn)的蟻群算法MMAS的分類器設(shè)計(jì)。
第10章介紹粒子群算法聚類設(shè)計(jì),包括粒子群算法的運(yùn)算過程、進(jìn)化模型、原理及其模式分類的設(shè)計(jì)過程。
本書沒有像大多數(shù)模式識(shí)別的書那樣講解煩瑣的理論,而是簡(jiǎn)明扼要地介紹每種算法的核心,并通過大量的實(shí)例介紹模式識(shí)別知識(shí)。書中針對(duì)每種模式識(shí)別算法,分理論基礎(chǔ)和實(shí)例操作兩部分進(jìn)行介紹。讀者掌握基礎(chǔ)理論后,通過實(shí)例可以了解算法的實(shí)現(xiàn)思路和方法; 進(jìn)一步掌握核心代碼編寫,就可以很快掌握模式識(shí)別技術(shù)。
本書內(nèi)容來自作者的科研與教學(xué)實(shí)踐。讀者在學(xué)會(huì)各種理論和方法后,可將書中的不同算法加以改造應(yīng)用于自己的實(shí)際工作。
本書第1~3章由徐宏偉編寫,第4章代由孫偉霞編寫,第5章由姜杰編寫,第8章由杜鑫編寫,其余由周潤(rùn)景編寫。
在本書的編寫過程中,作者雖已力求完美,但由于水平有限,書中難免有不足之處,敬請(qǐng)讀者指正。
作者2025年3月
第1章模式識(shí)別概述
1.1模式識(shí)別的基本概念
1.1.1模式的描述方法
1.1.2模式識(shí)別系統(tǒng)
1.2模式識(shí)別的基本方法
1.3模式識(shí)別的應(yīng)用
習(xí)題
第2章貝葉斯分類器設(shè)計(jì)
2.1貝葉斯決策及貝葉斯公式
2.1.1貝葉斯決策
2.1.2貝葉斯公式
2.2基于最小錯(cuò)誤率的貝葉斯決策
2.2.1基于最小錯(cuò)誤率的貝葉斯決策理論
2.2.2最小錯(cuò)誤率貝葉斯分類的計(jì)算過程
2.2.3最小錯(cuò)誤率貝葉斯分類的Python實(shí)現(xiàn)
2.2.4結(jié)論
2.3最小風(fēng)險(xiǎn)貝葉斯決策
2.3.1最小風(fēng)險(xiǎn)貝葉斯決策理論
2.3.2最小錯(cuò)誤率與最小風(fēng)險(xiǎn)貝葉斯決策的比較
2.3.3貝葉斯算法的計(jì)算過程
2.3.4最小風(fēng)險(xiǎn)貝葉斯分類的Python實(shí)現(xiàn)
2.3.5結(jié)論
習(xí)題
第3章判別函數(shù)分類器設(shè)計(jì)
3.1判別函數(shù)簡(jiǎn)介
3.2線性判別函數(shù)
3.3線性判別函數(shù)的實(shí)現(xiàn)
3.4基于LMSE的分類器設(shè)計(jì)
3.4.1LMSE分類法簡(jiǎn)介
3.4.2LMSE算法的原理
3.4.3LMSE算法的步驟
3.4.4LMSE算法的Python實(shí)現(xiàn)
3.4.5結(jié)論
3.5基于Fisher的分類器設(shè)計(jì)
3.5.1Fisher判別法簡(jiǎn)介
3.5.2Fisher分類器設(shè)計(jì)
3.5.3Fisher算法的Python實(shí)現(xiàn)
3.5.4識(shí)別待測(cè)樣本類別
3.5.5結(jié)論
3.6基于支持向量機(jī)的分類法
3.6.1支持向量機(jī)的基本思想
3.6.2支持向量機(jī)的主要優(yōu)點(diǎn)
3.6.3訓(xùn)練集為非線性情況
3.6.4核函數(shù)
3.6.5多類分類問題
3.6.6基于SVM的Python實(shí)現(xiàn)
3.6.7結(jié)論
習(xí)題
第4章聚類分析
4.1聚類分析簡(jiǎn)介
4.1.1聚類的定義
4.1.2聚類準(zhǔn)則
4.1.3基于試探法的聚類設(shè)計(jì)
4.2數(shù)據(jù)聚類K均值聚類
4.2.1K均值聚類簡(jiǎn)介
4.2.2K均值聚類算法的優(yōu)缺點(diǎn)
4.2.3K均值聚類算法的Python實(shí)現(xiàn)
4.2.4待聚類樣本的分類結(jié)果
4.2.5結(jié)論
4.3數(shù)據(jù)聚類基于取樣思想的K均值算法的改進(jìn)
4.3.1K均值算法的改進(jìn)
4.3.2基于取樣思想的改進(jìn)K均值聚類算法的Python實(shí)現(xiàn)
4.3.3結(jié)論
4.4數(shù)據(jù)聚類K近鄰法聚類
4.4.1K近鄰法簡(jiǎn)介
4.4.2K近鄰法的算法研究
4.4.3K近鄰法數(shù)據(jù)分類器的Python實(shí)現(xiàn)
4.4.4結(jié)論
4.5數(shù)據(jù)聚類PAM聚類
4.5.1PAM算法的主要流程
4.5.2PAM算法的Python實(shí)現(xiàn)
4.5.3K均值聚類算法與PAM算法的分析比較
4.5.4結(jié)論
4.6數(shù)據(jù)聚類層次聚類
4.6.1層次聚類方法和分類簡(jiǎn)介
4.6.2簇間距離度量方法
4.6.3層次聚類方法存在的不足
4.6.4層次聚類的Python實(shí)現(xiàn)
4.6.5結(jié)論
4.7數(shù)據(jù)聚類ISODATA算法概述
4.7.1ISODATA算法簡(jiǎn)介
4.7.2ISODATA算法的Python實(shí)現(xiàn)
4.7.3結(jié)論
習(xí)題
第5章模糊聚類分析
5.1模糊邏輯的發(fā)展
5.2模糊集合
5.2.1由經(jīng)典集合到模糊集合
5.2.2模糊集合的基本概念
5.2.3隸屬度函數(shù)
5.3模糊集合的運(yùn)算
5.3.1模糊集合的基本運(yùn)算
5.3.2模糊集合與經(jīng)典集合的聯(lián)系
5.4模糊關(guān)系與模糊關(guān)系的合成
5.4.1模糊關(guān)系的基本概念
5.4.2模糊關(guān)系的合成
5.4.3模糊關(guān)系的性質(zhì)
5.4.4模糊變換
5.5模糊邏輯與模糊推理
5.5.1模糊邏輯技術(shù)
5.5.2語言控制策略
5.5.3模糊語言變量
5.5.4模糊命題與模糊條件語句
5.5.5判斷與推理
5.5.6模糊推理
5.6數(shù)據(jù)聚類模糊聚類
5.6.1模糊聚類應(yīng)用背景
5.6.2基于Python的模糊算法構(gòu)建數(shù)據(jù)模糊化
5.6.3基于Python的模糊算法構(gòu)建
5.6.4結(jié)論
5.7數(shù)據(jù)聚類模糊C均值聚類
5.7.1模糊C均值算法
5.7.2模糊C均值聚類的Python實(shí)現(xiàn)
5.7.3模糊C均值聚類結(jié)果分析
5.7.4結(jié)論
5.8數(shù)據(jù)聚類模糊ISODATA聚類
5.8.1模糊ISODATA聚類的應(yīng)用背景
5.8.2模糊ISODATA算法的基本原理
5.8.3模糊ISODATA算法的基本步驟
5.8.4模糊ISODATA算法的Python實(shí)現(xiàn)
5.8.5結(jié)論
5.9模糊神經(jīng)網(wǎng)絡(luò)
5.9.1模糊神經(jīng)網(wǎng)絡(luò)的應(yīng)用背景
5.9.2模糊神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介
5.9.3模糊神經(jīng)網(wǎng)絡(luò)分類器的Python實(shí)現(xiàn)
5.9.4結(jié)論
習(xí)題
第6章神經(jīng)網(wǎng)絡(luò)聚類設(shè)計(jì)
6.1什么是神經(jīng)網(wǎng)絡(luò)
6.1.1神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程
6.1.2生物神經(jīng)系統(tǒng)的結(jié)構(gòu)及沖動(dòng)的傳遞過程
6.1.3人工神經(jīng)網(wǎng)絡(luò)的定義
6.2人工神經(jīng)網(wǎng)絡(luò)模型
6.2.1人工神經(jīng)元的基本模型
6.2.2人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)架
6.2.3人工神經(jīng)網(wǎng)絡(luò)的工作過程
6.2.4人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)
6.3前饋神經(jīng)網(wǎng)絡(luò)
6.3.1感知器網(wǎng)絡(luò)
6.3.2BP網(wǎng)絡(luò)
6.3.3BP網(wǎng)絡(luò)的建立及執(zhí)行
6.3.4BP網(wǎng)絡(luò)分類器的Python實(shí)現(xiàn)
6.3.5BP網(wǎng)絡(luò)其他學(xué)習(xí)算法的應(yīng)用
6.4反饋神經(jīng)網(wǎng)絡(luò)
6.4.1離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)
6.4.2離散Hopfield網(wǎng)絡(luò)的工作方式
6.4.3離散Hopfield網(wǎng)絡(luò)的穩(wěn)定性和吸引子
6.4.4離散Hopfield網(wǎng)絡(luò)的連接權(quán)設(shè)計(jì)
6.4.5離散Hopfield網(wǎng)絡(luò)分類器的Python實(shí)現(xiàn)
6.4.6結(jié)論
6.5徑向基函數(shù)
6.5.1RBF的網(wǎng)絡(luò)結(jié)構(gòu)及工作方式
6.5.2RBF網(wǎng)絡(luò)參數(shù)選擇
6.5.3RBF網(wǎng)絡(luò)分類器的Python實(shí)現(xiàn)
6.5.4結(jié)論
6.6廣義回歸神經(jīng)網(wǎng)絡(luò)
6.6.1GRNN的結(jié)構(gòu)
6.6.2GRNN的理論基礎(chǔ)
6.6.3GRNN的特點(diǎn)及作用
6.6.4GRNN分類器的Python實(shí)現(xiàn)
6.6.5結(jié)論
6.7小波神經(jīng)網(wǎng)絡(luò)
6.7.1小波神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
6.7.2小波神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法
6.7.3小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)
6.7.4小波神經(jīng)網(wǎng)絡(luò)分類器的Python實(shí)現(xiàn)
6.7.5結(jié)論
6.8其他形式的神經(jīng)網(wǎng)絡(luò)
6.8.1競(jìng)爭(zhēng)型人工神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)
6.8.2競(jìng)爭(zhēng)型人工神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)
6.8.3競(jìng)爭(zhēng)型人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)
6.8.4概率神經(jīng)網(wǎng)絡(luò)
6.8.5CPN分類器的Python實(shí)現(xiàn)
習(xí)題
第7章模擬退火算法聚類設(shè)計(jì)
7.1模擬退火算法簡(jiǎn)介
7.1.1物理退火過程
7.1.2Metropolis準(zhǔn)則
7.1.3模擬退火算法的基本原理
7.1.4模擬退火算法的組成
7.1.5模擬退火算法新解的產(chǎn)生和接受
7.1.6模擬退火算法的基本過程
7.1.7模擬退火算法的參數(shù)控制問題
7.2基于模擬退火思想的聚類算法
7.2.1K均值聚類算法的局限性
7.2.2基于模擬退火思想的改進(jìn)K均值聚類算法
7.2.3幾個(gè)重要參數(shù)的選擇
7.3算法的實(shí)現(xiàn)
7.3.1實(shí)現(xiàn)步驟
7.3.2模擬退火實(shí)現(xiàn)模式分類的Python程序
7.4結(jié)論
習(xí)題
第8章遺傳算法聚類設(shè)計(jì)
8.1遺傳算法簡(jiǎn)介
8.2遺傳算法原理
8.2.1遺傳算法的基本術(shù)語
8.2.2遺傳算法進(jìn)行問題求解的過程
8.2.3遺傳算法的基本要素
8.3算法實(shí)現(xiàn)
8.3.1種群初始化
8.3.2適應(yīng)度函數(shù)的設(shè)計(jì)
8.3.3選擇操作
8.3.4交叉操作
8.3.5變異操作
8.3.6完整Python程序及仿真結(jié)果
8.4結(jié)論
習(xí)題
第9章蟻群算法聚類設(shè)計(jì)
9.1蟻群算法簡(jiǎn)介
9.2蟻群算法原理
9.2.1基本蟻群算法的原理
9.2.2模型建立
9.2.3蟻群算法的特點(diǎn)
9.3基本蟻群算法的實(shí)現(xiàn)
9.4算法改進(jìn)
9.4.1MMAS算法簡(jiǎn)介
9.4.2完整Python程序及仿真結(jié)果
9.5結(jié)論
習(xí)題
第10章粒子群算法聚類設(shè)計(jì)
10.1粒子群算法簡(jiǎn)介
10.2經(jīng)典的粒子群算法的運(yùn)算過程
10.3兩種基本的進(jìn)化模型
10.4改進(jìn)的粒子群優(yōu)化算法
10.4.1粒子群優(yōu)化算法的原理
10.4.2粒子群優(yōu)化算法的基本流程
10.5粒子群算法與其他算法的比較
10.6粒子群算法分類器的Python實(shí)現(xiàn)
10.6.1設(shè)定參數(shù)
10.6.2初始化
10.6.3完整Python程序及仿真結(jié)果
10.7結(jié)論
習(xí)題
參考文獻(xiàn)