前言近年來數(shù)字化已經(jīng)極大地改變了我們的生活方式，社交媒體、流媒體直播和智能手機僅僅是冰山一角，而且這個變化速度仍在加快。數(shù)字化轉(zhuǎn)型影響到音樂和電視、購物和旅游等許多行業(yè)，同時在人工智能和機器學(xué)習(xí)的推動下，像無人機和自動駕駛汽車這樣的自動化機器（autonomous machine）的也在迅速增長。那么是什么推動了這個數(shù)字社會的發(fā)展呢？答案是數(shù)據(jù)。在20 世紀(jì)，石油曾是世界上最有價值的資源。如今，數(shù)據(jù)成為了新的石油。隨著分析的增長，對數(shù)據(jù)的需求遲早會達(dá)到我們前所未見的水平。同時，數(shù)據(jù)不僅在飛速擴充而且變得愈加復(fù)雜。云計算、API 管理、微服務(wù)、開放數(shù)據(jù)、軟件即服務(wù)（SaaS）以及新的軟件交付模式等也正在興起，過去幾年涌現(xiàn)了無數(shù)新的數(shù)據(jù)庫和分析應(yīng)用程序。這些大量新的數(shù)據(jù)處理方法不斷分化（fragment）數(shù)字景觀。我們看到了更多的點對點接口、無休止的關(guān)于數(shù)據(jù)質(zhì)量和所有權(quán)的討論，以及眾多與隱私和安全有關(guān)的道德和法律困境。敏捷性、系統(tǒng)長期的穩(wěn)定性和清晰的數(shù)據(jù)治理的理念與迅速發(fā)展新業(yè)務(wù)的需求互相沖突。我們行業(yè)迫切需要一個關(guān)于數(shù)據(jù)管理和數(shù)據(jù)集成未來發(fā)展的清晰愿景。本書關(guān)于數(shù)據(jù)管理和數(shù)據(jù)集成的觀點得益于我的個人經(jīng)驗。作為一家大型企業(yè)的首席數(shù)據(jù)架構(gòu)師，我推動了數(shù)據(jù)架構(gòu)議程。這一角色幫助我清楚地看到了良好的數(shù)據(jù)策略可以對大型組織產(chǎn)生何種影響。在這之前，我還曾擔(dān)任戰(zhàn)略顧問，設(shè)計了許多架構(gòu)，并參與了大型數(shù)據(jù)管理項目，同時作為自由職業(yè)應(yīng)用開發(fā)人員將這些心得付諸實踐。簡而言之，我在最近十年一直在尋找能幫助企業(yè)成為數(shù)據(jù)驅(qū)動的最佳方案。如今，我的雇主荷蘭銀行（ABO AMRO）注1 正在構(gòu)建大家描述的未來狀態(tài)架構(gòu)注2。我們已經(jīng)將本書的想法付諸于生產(chǎn)，并從實踐中積累經(jīng)驗。我知道并且已經(jīng)了解了其中哪些行之有效，哪些無效。這些經(jīng)驗使我能為你呈現(xiàn)一種開創(chuàng)性的數(shù)據(jù)管理和數(shù)據(jù)集成方法，此方法遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)方法。在這里，你將發(fā)現(xiàn)新的方法和發(fā)展趨勢正不斷相互對接和融合，這其中包括了企業(yè)架構(gòu)、業(yè)務(wù)架構(gòu)、軟件架構(gòu)、領(lǐng)域驅(qū)動設(shè)計、應(yīng)用集成、微服務(wù)和云計算。本書是一本關(guān)于構(gòu)建現(xiàn)代化、可拓展數(shù)據(jù)景觀的綜合指南。它提供了豐富的藍(lán)圖、原則、標(biāo)準(zhǔn)化模式、觀察、示例和最佳實踐。它將教你如何避開復(fù)雜且緊密耦合的數(shù)據(jù)景觀陷阱，以及怎樣把敏捷和控制注入組織的DNA 中。它從多個盡可能新的角度審視了數(shù)據(jù)管理和數(shù)據(jù)集成。你可以根據(jù)你組織的成熟情況來選擇適合自己的操作。無數(shù)的公司在如何妥善進行數(shù)據(jù)管理方面失敗了，考慮到持續(xù)變化的數(shù)據(jù)景觀、迅猛增加的數(shù)據(jù)量和隨之而來的集成挑戰(zhàn)，這是可以理解的。在本書中我都牢記這點，并密切關(guān)注常見的障礙。值得一提的是，我設(shè)想的內(nèi)容能通過許多不同的方式來實現(xiàn)。我將會提到一些產(chǎn)品和供應(yīng)商，但總體理念還是保持技術(shù)中立譯注1。有些概念會特別復(fù)雜，所以很難開發(fā)。由于數(shù)據(jù)管理領(lǐng)域和數(shù)據(jù)集成在許多方面高度交織在一起，因此我將慢慢構(gòu)建本書的愿景，從定義數(shù)據(jù)管理的核心學(xué)科開始，回顧整體架構(gòu)，然后深入各個領(lǐng)域。我所設(shè)想的是一種持久的、現(xiàn)代的、基于領(lǐng)域的分布式架構(gòu)，它能幫助組織快速找到和集成數(shù)據(jù)來滿足業(yè)務(wù)對敏捷性的需求，同時保持對數(shù)據(jù)的控制。我稱之為可拓展架構(gòu)�？赏卣辜軜�(gòu)和其他架構(gòu)的不同之處在于它能務(wù)實地（pragmatically）得到創(chuàng)建。其各個組成部分可以獨立且逐步地設(shè)計，而無需大量的前期投資。這也是我所推薦的，從小處著手，觀察進展情況，然后繼續(xù)前進。這種方法與許多執(zhí)行失敗的數(shù)據(jù)倉庫項目形成了鮮明對比，后者可能數(shù)年都無法產(chǎn)生價值。本書面向的讀者對象這個可拓展架構(gòu)是為了大型企業(yè)服務(wù)的，然而較小的組織也可以從中發(fā)現(xiàn)很多有價值的內(nèi)容。本書尤其適合于：? 管理層和架構(gòu)師：首席數(shù)據(jù)官，首席科技官，企業(yè)架構(gòu)師和數(shù)據(jù)架構(gòu)師。? 合規(guī)以及監(jiān)管團隊：首席信息安全官，數(shù)據(jù)保護官，信息安全分析師，數(shù)據(jù)專家和商業(yè)分析師。? 分析團隊：數(shù)據(jù)科學(xué)家，數(shù)據(jù)工程師，數(shù)據(jù)分析師，以及分析管理者。? 開發(fā)團隊：數(shù)據(jù)工程師，商業(yè)智能工程師，數(shù)據(jù)建模師和設(shè)計師以及其他數(shù)據(jù)專業(yè)人士。我能學(xué)到什么學(xué)完本書之后，你將理解：? 什么是數(shù)據(jù)管理及為何它很重要。? 哪些數(shù)據(jù)景觀的內(nèi)容受到了業(yè)務(wù)和技術(shù)趨勢的影響。? 數(shù)據(jù)管理的核心部分是哪些，以及它們是如何互相影響的。? 如何大規(guī)模地管理復(fù)雜的數(shù)據(jù)景觀。? 為何數(shù)據(jù)集成如此困難。? 為何企業(yè)數(shù)據(jù)倉庫不再能滿足其目的。? 你需要哪些工具才能搭建大規(guī)模的數(shù)據(jù)架構(gòu)。? 如何理解分發(fā)數(shù)據(jù)的核心模式、它們的特征和一些用例。? 在管理架構(gòu)中元數(shù)據(jù)扮演了何種角色。? 如何在大規(guī)模應(yīng)用中實施主數(shù)據(jù)和參考數(shù)據(jù)的管理。? 如何利用自助模式來擴展數(shù)據(jù)消費。? 混合云和跨網(wǎng)絡(luò)將如何影響你的架構(gòu)。? 如何應(yīng)用最佳實踐以及在各式環(huán)境下最適宜的模式。本書的組織結(jié)構(gòu)本書第1 章提供了一個背景視角，它展示了什么是數(shù)據(jù)管理以及正在發(fā)生怎樣的變化。這個視角評估了2020 年初數(shù)據(jù)管理的當(dāng)前狀態(tài)，并追溯了企業(yè)中央數(shù)據(jù)平臺的興起與衰落。在第2 章，我們將深入探討可拓展架構(gòu)的細(xì)節(jié)。此章介紹了該架構(gòu)，并為模型搭建提供了理論基礎(chǔ)。后續(xù)章節(jié)將討論構(gòu)成整體數(shù)據(jù)架構(gòu)的各種集成架構(gòu)的具體細(xì)節(jié)，其中第3 章聚焦于只讀數(shù)據(jù)架構(gòu)，第4 章討論API 架構(gòu)，第5 章涵蓋流式架構(gòu)。第6 章將所有內(nèi)容整合在一起，提供了一個全面的總覽。隨后的章節(jié)將更深入地探討這種架構(gòu)是如何運用數(shù)據(jù)管理和其各個分支更高級的內(nèi)容。第7 章考察了即使在快速變化的時代，該如何以實用且可持續(xù)的方式處理數(shù)據(jù)治理和安全問題。第8 章討論了可拓展架構(gòu)的業(yè)務(wù)案例，準(zhǔn)確展示了它如何幫企業(yè)將數(shù)據(jù)轉(zhuǎn)化成價值。第9 章提供了關(guān)于使用主數(shù)據(jù)管理來保持分布式、廣泛資產(chǎn)中數(shù)據(jù)一致性的指導(dǎo)，而第10 章深入探討了元數(shù)據(jù)的使用、重要性以及民主化的潛力。第11 章以對數(shù)據(jù)管理和企業(yè)架構(gòu)未來的展望結(jié)束了本書。排版約定本書使用了下述排版約定。斜體（Italic）表示新術(shù)語、URL、電子郵件地址、文件名擴展名。等寬字體（Constant Width）用于程序列表（program listing），以及在段落中引用程序元素，如變量或函數(shù)名稱、數(shù)據(jù)庫、數(shù)據(jù)類型、環(huán)境變量、語句和關(guān)鍵字。OReilly 在線學(xué)習(xí)平臺（OReilly Online Learning）近40 年來，OReilly Media 致力于提供技術(shù)和商業(yè)培訓(xùn)、知識和卓越見解，來幫助眾多公司取得成功。公司獨有的專家和改革創(chuàng)新者網(wǎng)絡(luò)通過OReilly 書籍、文章以及在線學(xué)習(xí)平臺，分享他們的專業(yè)知識和實踐經(jīng)驗。OReilly 在線學(xué)習(xí)平臺按照您的需要提供實時培訓(xùn)課程、深入學(xué)習(xí)渠道、交互式編程環(huán)境以及來自O(shè)Reilly 和其他200 多家出版商的大量書籍與視頻資料。更多信息，請訪問網(wǎng)站：https://www.oreilly.com/。聯(lián)系我們?nèi)魏斡嘘P(guān)本書的意見或疑問，請按照以下地址聯(lián)系出版社。美國：OReilly Media, Inc.1005 Gravenstein Highway NorthSebastopol, CA 95472中國：北京市西城區(qū)西直門南大街2 號成銘大廈C 座807 室（100035）奧萊利技術(shù)咨詢（北京）有限公司本書有一個專屬網(wǎng)頁，在那里我們列出了勘誤表、示例和任何附加信息。你可以通過https://oreil.ly/data-mgmt-at-scale 來訪問。如有意見或詢問技術(shù)問題請發(fā)送郵件至errata@oreilly.com.cn。如尋求關(guān)于我們書籍、課程、會議和消息的更多信息，請訪問我們的網(wǎng)站 http://www.oreilly.com。我們的Facebook：http://facebook.com/oreilly。我們的Twitter：http://twitter.com/oreillymedia。我們的YouTube：http://youtube.com/oreillymedia。致謝我想感謝Jessica Strengholt-geitenbeek 允許我來寫這本書。在這個寫作過程中，她一直支持我，照顧孩子并騰出空間讓我可以工作，她是我生活中的摯愛。我還想感謝ABN AMRO 銀行的首席架構(gòu)師和數(shù)據(jù)管理負(fù)責(zé)人Santhosh Pillai，感謝他的信任和在我的職業(yè)生涯中的指導(dǎo)。很多想法源于他的思考。如果沒有他和我之間的無數(shù)的討論，這本書不會出現(xiàn)。此外，還有許多其他人給本書提供了支持和反饋：特別是Bas Van Gils、Danny Greefhorst、Gabriele Rossi、Noor Spanjaard、Bas Van Holsenbeck、Jacek Offierski、Robbert Naastepad、Neil Baxter，以及所有提供支持的人。最后我想感謝OReilly 團隊的所有人的支持和信任，他們非常杰出。Sarah Grey，和你一同工作非常愉快，你的積極能量、敏銳的觀察和開心的微笑激勵我完成這本書。Kim Sandoval，謝謝你的全局的宏觀視角，Katherine Tozer，非常感激你在最后階段對本書的管理。Michelle Smith 和Melissa Potter，感謝你們在入職期間的支持。