前言近年來數字化已經極大地改變了我們的生活方式，社交媒體、流媒體直播和智能手機僅僅是冰山一角，而且這個變化速度仍在加快。數字化轉型影響到音樂和電視、購物和旅游等許多行業(yè)，同時在人工智能和機器學習的推動下，像無人機和自動駕駛汽車這樣的自動化機器（autonomous machine）的也在迅速增長。那么是什么推動了這個數字社會的發(fā)展呢？答案是數據。在20 世紀，石油曾是世界上最有價值的資源。如今，數據成為了新的石油。隨著分析的增長，對數據的需求遲早會達到我們前所未見的水平。同時，數據不僅在飛速擴充而且變得愈加復雜。云計算、API 管理、微服務、開放數據、軟件即服務（SaaS）以及新的軟件交付模式等也正在興起，過去幾年涌現了無數新的數據庫和分析應用程序。這些大量新的數據處理方法不斷分化（fragment）數字景觀。我們看到了更多的點對點接口、無休止的關于數據質量和所有權的討論，以及眾多與隱私和安全有關的道德和法律困境。敏捷性、系統(tǒng)長期的穩(wěn)定性和清晰的數據治理的理念與迅速發(fā)展新業(yè)務的需求互相沖突。我們行業(yè)迫切需要一個關于數據管理和數據集成未來發(fā)展的清晰愿景。本書關于數據管理和數據集成的觀點得益于我的個人經驗。作為一家大型企業(yè)的首席數據架構師，我推動了數據架構議程。這一角色幫助我清楚地看到了良好的數據策略可以對大型組織產生何種影響。在這之前，我還曾擔任戰(zhàn)略顧問，設計了許多架構，并參與了大型數據管理項目，同時作為自由職業(yè)應用開發(fā)人員將這些心得付諸實踐。簡而言之，我在最近十年一直在尋找能幫助企業(yè)成為數據驅動的最佳方案。如今，我的雇主荷蘭銀行（ABO AMRO）注1 正在構建大家描述的未來狀態(tài)架構注2。我們已經將本書的想法付諸于生產，并從實踐中積累經驗。我知道并且已經了解了其中哪些行之有效，哪些無效。這些經驗使我能為你呈現一種開創(chuàng)性的數據管理和數據集成方法，此方法遠遠超越了傳統(tǒng)方法。在這里，你將發(fā)現新的方法和發(fā)展趨勢正不斷相互對接和融合，這其中包括了企業(yè)架構、業(yè)務架構、軟件架構、領域驅動設計、應用集成、微服務和云計算。本書是一本關于構建現代化、可拓展數據景觀的綜合指南。它提供了豐富的藍圖、原則、標準化模式、觀察、示例和最佳實踐。它將教你如何避開復雜且緊密耦合的數據景觀陷阱，以及怎樣把敏捷和控制注入組織的DNA 中。它從多個盡可能新的角度審視了數據管理和數據集成。你可以根據你組織的成熟情況來選擇適合自己的操作。無數的公司在如何妥善進行數據管理方面失敗了，考慮到持續(xù)變化的數據景觀、迅猛增加的數據量和隨之而來的集成挑戰(zhàn)，這是可以理解的。在本書中我都牢記這點，并密切關注常見的障礙。值得一提的是，我設想的內容能通過許多不同的方式來實現。我將會提到一些產品和供應商，但總體理念還是保持技術中立譯注1。有些概念會特別復雜，所以很難開發(fā)。由于數據管理領域和數據集成在許多方面高度交織在一起，因此我將慢慢構建本書的愿景，從定義數據管理的核心學科開始，回顧整體架構，然后深入各個領域。我所設想的是一種持久的、現代的、基于領域的分布式架構，它能幫助組織快速找到和集成數據來滿足業(yè)務對敏捷性的需求，同時保持對數據的控制。我稱之為可拓展架構。可拓展架構和其他架構的不同之處在于它能務實地（pragmatically）得到創(chuàng)建。其各個組成部分可以獨立且逐步地設計，而無需大量的前期投資。這也是我所推薦的，從小處著手，觀察進展情況，然后繼續(xù)前進。這種方法與許多執(zhí)行失敗的數據倉庫項目形成了鮮明對比，后者可能數年都無法產生價值。本書面向的讀者對象這個可拓展架構是為了大型企業(yè)服務的，然而較小的組織也可以從中發(fā)現很多有價值的內容。本書尤其適合于：? 管理層和架構師：首席數據官，首席科技官，企業(yè)架構師和數據架構師。? 合規(guī)以及監(jiān)管團隊：首席信息安全官，數據保護官，信息安全分析師，數據專家和商業(yè)分析師。? 分析團隊：數據科學家，數據工程師，數據分析師，以及分析管理者。? 開發(fā)團隊：數據工程師，商業(yè)智能工程師，數據建模師和設計師以及其他數據專業(yè)人士。我能學到什么學完本書之后，你將理解：? 什么是數據管理及為何它很重要。? 哪些數據景觀的內容受到了業(yè)務和技術趨勢的影響。? 數據管理的核心部分是哪些，以及它們是如何互相影響的。? 如何大規(guī)模地管理復雜的數據景觀。? 為何數據集成如此困難。? 為何企業(yè)數據倉庫不再能滿足其目的。? 你需要哪些工具才能搭建大規(guī)模的數據架構。? 如何理解分發(fā)數據的核心模式、它們的特征和一些用例。? 在管理架構中元數據扮演了何種角色。? 如何在大規(guī)模應用中實施主數據和參考數據的管理。? 如何利用自助模式來擴展數據消費。? 混合云和跨網絡將如何影響你的架構。? 如何應用最佳實踐以及在各式環(huán)境下最適宜的模式。本書的組織結構本書第1 章提供了一個背景視角，它展示了什么是數據管理以及正在發(fā)生怎樣的變化。這個視角評估了2020 年初數據管理的當前狀態(tài)，并追溯了企業(yè)中央數據平臺的興起與衰落。在第2 章，我們將深入探討可拓展架構的細節(jié)。此章介紹了該架構，并為模型搭建提供了理論基礎。后續(xù)章節(jié)將討論構成整體數據架構的各種集成架構的具體細節(jié)，其中第3 章聚焦于只讀數據架構，第4 章討論API 架構，第5 章涵蓋流式架構。第6 章將所有內容整合在一起，提供了一個全面的總覽。隨后的章節(jié)將更深入地探討這種架構是如何運用數據管理和其各個分支更高級的內容。第7 章考察了即使在快速變化的時代，該如何以實用且可持續(xù)的方式處理數據治理和安全問題。第8 章討論了可拓展架構的業(yè)務案例，準確展示了它如何幫企業(yè)將數據轉化成價值。第9 章提供了關于使用主數據管理來保持分布式、廣泛資產中數據一致性的指導，而第10 章深入探討了元數據的使用、重要性以及民主化的潛力。第11 章以對數據管理和企業(yè)架構未來的展望結束了本書。排版約定本書使用了下述排版約定。斜體（Italic）表示新術語、URL、電子郵件地址、文件名擴展名。等寬字體（Constant Width）用于程序列表（program listing），以及在段落中引用程序元素，如變量或函數名稱、數據庫、數據類型、環(huán)境變量、語句和關鍵字。OReilly 在線學習平臺（OReilly Online Learning）近40 年來，OReilly Media 致力于提供技術和商業(yè)培訓、知識和卓越見解，來幫助眾多公司取得成功。公司獨有的專家和改革創(chuàng)新者網絡通過OReilly 書籍、文章以及在線學習平臺，分享他們的專業(yè)知識和實踐經驗。OReilly 在線學習平臺按照您的需要提供實時培訓課程、深入學習渠道、交互式編程環(huán)境以及來自OReilly 和其他200 多家出版商的大量書籍與視頻資料。更多信息，請訪問網站：https://www.oreilly.com/。聯系我們任何有關本書的意見或疑問，請按照以下地址聯系出版社。美國：OReilly Media, Inc.1005 Gravenstein Highway NorthSebastopol, CA 95472中國：北京市西城區(qū)西直門南大街2 號成銘大廈C 座807 室（100035）奧萊利技術咨詢（北京）有限公司本書有一個專屬網頁，在那里我們列出了勘誤表、示例和任何附加信息。你可以通過https://oreil.ly/data-mgmt-at-scale 來訪問。如有意見或詢問技術問題請發(fā)送郵件至errata@oreilly.com.cn。如尋求關于我們書籍、課程、會議和消息的更多信息，請訪問我們的網站 http://www.oreilly.com。我們的Facebook：http://facebook.com/oreilly。我們的Twitter：http://twitter.com/oreillymedia。我們的YouTube：http://youtube.com/oreillymedia。致謝我想感謝Jessica Strengholt-geitenbeek 允許我來寫這本書。在這個寫作過程中，她一直支持我，照顧孩子并騰出空間讓我可以工作，她是我生活中的摯愛。我還想感謝ABN AMRO 銀行的首席架構師和數據管理負責人Santhosh Pillai，感謝他的信任和在我的職業(yè)生涯中的指導。很多想法源于他的思考。如果沒有他和我之間的無數的討論，這本書不會出現。此外，還有許多其他人給本書提供了支持和反饋：特別是Bas Van Gils、Danny Greefhorst、Gabriele Rossi、Noor Spanjaard、Bas Van Holsenbeck、Jacek Offierski、Robbert Naastepad、Neil Baxter，以及所有提供支持的人。最后我想感謝OReilly 團隊的所有人的支持和信任，他們非常杰出。Sarah Grey，和你一同工作非常愉快，你的積極能量、敏銳的觀察和開心的微笑激勵我完成這本書。Kim Sandoval，謝謝你的全局的宏觀視角，Katherine Tozer，非常感激你在最后階段對本書的管理。Michelle Smith 和Melissa Potter，感謝你們在入職期間的支持。