前 言
用新技術(shù)、新思維，投身新基建

為什么寫(xiě)這本書(shū)？
2020 年 3 月，國(guó)家提出要加快 5G 網(wǎng)絡(luò)和數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)（簡(jiǎn)稱(chēng)新基建）的進(jìn)度。
其中，信息化新型基礎(chǔ)設(shè)施包含云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈、5G 等內(nèi)容。
云計(jì)算、大數(shù)據(jù)、人工智能，這三者從表面上看似乎是三個(gè)獨(dú)立的技術(shù)方向，實(shí)則一脈相承。
筆者在南京大學(xué)參加人工智能峰會(huì)的時(shí)候，曾向?qū)＜艺?qǐng)教了一個(gè)問(wèn)題：云計(jì)算、大數(shù)據(jù)、人工智能之間有什么關(guān)系？專(zhuān)家解釋?zhuān)簭恼�體上看，云計(jì)算就是高速公路，大數(shù)據(jù)就是路上滿(mǎn)載貨物、飛速奔馳的車(chē)輛，人工智能則通過(guò)觀察道路利用情況、車(chē)輛運(yùn)行情況，發(fā)現(xiàn)其中的規(guī)律，合理規(guī)劃道路、合理調(diào)度車(chē)輛，讓整個(gè)系統(tǒng)運(yùn)行得更高效。
簡(jiǎn)單來(lái)說(shuō)，云計(jì)算技術(shù)提供了算力，大數(shù)據(jù)技術(shù)提供了數(shù)據(jù)支撐，人工智能技術(shù)提供了強(qiáng)大算法，這三者之間存在著不可分割的“親緣”關(guān)系。
從細(xì)節(jié)來(lái)看，每一個(gè)領(lǐng)域都有復(fù)雜的邏輯和豐富的內(nèi)涵。如果要將這三門(mén)技術(shù)融合在一起，需要有比較扎實(shí)的技術(shù)功底和充裕的時(shí)間。因此本書(shū)的目標(biāo)是盡可能讓讀者用最低的成本，盡快掌握相關(guān)技術(shù)，緊跟時(shí)代步伐，早日投身新基建。
這本書(shū)的特點(diǎn)是什么？
本書(shū)力求簡(jiǎn)單、實(shí)用，堅(jiān)持以實(shí)例為主，理論為輔。
全書(shū)分為五篇，從大數(shù)據(jù)的基本概念與產(chǎn)業(yè)應(yīng)用入手，然后介紹將大數(shù)據(jù)平臺(tái)容器化的工具Docker 與 Kubernetes，之后講解大數(shù)據(jù)常用的組件：Hadoop、HBase、Hive、Spark，最后引入了對(duì)數(shù)據(jù)進(jìn)行挖掘的機(jī)器學(xué)習(xí)庫(kù) scikit-learn 和 Spark MLlib。
隨著人工智能的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)及相關(guān)的開(kāi)發(fā)工具也愈發(fā)強(qiáng)大，因此在了解機(jī)器學(xué)習(xí)后，本書(shū)又引入了能解決更復(fù)雜問(wèn)題，但操作又比較簡(jiǎn)單的深度學(xué)習(xí)框架 TensorFlow。掌握TensorFlow，既彌補(bǔ)了 Spark、scikit-learn 的不足，又能應(yīng)對(duì)更困難的場(chǎng)景。
本書(shū)沒(méi)有高深的理論，每一章都以實(shí)例為主，讀者通過(guò)參考源代碼，修改實(shí)例，就能得到自己想要的結(jié)果，讓讀者看得懂、學(xué)得會(huì)、做得出。
本書(shū)大多數(shù)章節(jié)都包含實(shí)訓(xùn)模塊，讓讀者在學(xué)完該章節(jié)的知識(shí)后能夠舉一反三，學(xué)以致用。
通過(guò)這本書(shū)能學(xué)到什么？
1. 數(shù)據(jù)分析理論基礎(chǔ)：了解大數(shù)據(jù)的特征、大數(shù)據(jù)分析目標(biāo)如何確立、大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)流程、機(jī)器學(xué)習(xí)開(kāi)發(fā)過(guò)程。
2. 大數(shù)據(jù)平臺(tái)容器化：掌握 Docker、Kubernetes 的安裝方法；掌握基于 Docker 容器的集群部署方法；掌握 Kubernetes 的集群部署方法。
3. 數(shù)據(jù)分析：理解分布式存儲(chǔ)原理、分布式計(jì)算原理及分布式資源調(diào)度原理，掌握 Hadoop、HBase、Hive、Spark、scikit-learn、TensorFlow 數(shù)據(jù)分析技術(shù)。
4. 掌握架構(gòu)設(shè)計(jì)與實(shí)施技能：能設(shè)計(jì)不同場(chǎng)景下的項(xiàng)目架構(gòu)，并做好不同業(yè)務(wù)下的數(shù)據(jù)建模。
5. 項(xiàng)目開(kāi)發(fā)：熟練使用 Python 語(yǔ)言，綜合運(yùn)用各類(lèi)組件，獨(dú)立完成項(xiàng)目開(kāi)發(fā)。掌握基本的機(jī)器學(xué)習(xí)、人工智能開(kāi)發(fā)技術(shù)。
2
本書(shū)的核心組件版本和閱讀時(shí)的注意事項(xiàng)
1. 核心組件版本
Python：Anaconda 3 Python 3.7 版本
CentOS：7.5
Hadoop：3.1.3
HBase：2.2.2
Hive：3.1.1
Spark：2.4.4
scikit-learn：0.22
TensorFlow：2.1.0
其中，Hadoop、HBase、Hive、Spark 安裝過(guò)程相對(duì)復(fù)雜，版本不匹配容易出錯(cuò)，建議讀者使用與本書(shū)一致的版本，待精通大數(shù)據(jù)平臺(tái)知識(shí)之后，再選擇其他版本。另外 TensorFlow 1.x 與TensorFlow 2.x 版本存在巨大差異，使用 TensorFlow 2.x 將會(huì)成為流行趨勢(shì)，建議讀者使用 2.x 版本。
2. 注意事項(xiàng)
在實(shí)訓(xùn)板塊，建議讀者根據(jù)主題回顧小節(jié)內(nèi)容，思考后再設(shè)計(jì)自己的實(shí)現(xiàn)方案，并與書(shū)中的實(shí)現(xiàn)方式進(jìn)行對(duì)比，以便取得更好的學(xué)習(xí)效果。
除了書(shū)，您還能得到什么？
1. 贈(zèng)送案例源代碼。提供書(shū)中相關(guān)案例的源代碼，方便讀者學(xué)習(xí)參考。
2. 贈(zèng)送 50 道 Python 面試題及答案，幫助讀者提高面試成功率。
3. 贈(zèng)送職場(chǎng)高效學(xué)習(xí)資源大禮包，包括《微信高手技巧隨身查》《QQ 高手技巧隨身查》《手機(jī)辦公 10 招就夠》等電子書(shū)，以及“5 分鐘學(xué)會(huì)番茄工作法”“10 招精通超級(jí)時(shí)間整理術(shù)”視頻教程，讓您輕松應(yīng)對(duì)職場(chǎng)那些事兒。
感謝胡子平老師及北京大學(xué)出版社的各位編輯在本書(shū)的內(nèi)容策劃、設(shè)計(jì)和審核上給我的幫助。在本書(shū)的編寫(xiě)過(guò)程中，我竭盡所能地為讀者呈現(xiàn)最好、最全面、最實(shí)用的內(nèi)容，但仍難免有疏漏之處，敬請(qǐng)廣大讀者不吝指正。