本書的內容比較全麵,涵蓋分布式係統基礎理論、常用技術以及經典的案例分析。全書篇幅較多,對分布式係統中的綫程、通信、一緻性、容錯性、CAP理論、安全性、並發、RESTful風格架構、微服務、容器技術,以及分布式消息服務、分布式計算、分布式存儲、分布式監控係統、分布式版本控製、RESTful、微服務等相關技術和知識點都作瞭詳細的講解,並輔以淘寶網和Twitter為代錶的國內外知名互聯網企業的大型分布式係統為案例,分析其架構設計以及演變過程,做到瞭理論和實踐相結閤。
本書分為三大部分,即分布式係統基礎理論、分布式係統常用技術以及經典的分布式係統案例分析。第一部分主要介紹分布式係統基礎理論知識,總結一些在設計分布式係統時需要考慮的範式、知識點以及可能會麵臨的問題,其中包括綫程、通信、一緻性、容錯性、CAP 理論、安全性和並發等相關內容;同時講述分布式係統的常見架構體係,其中也包括最近比較火的RESTful 風格架構、微服務、容器技術等。第二部分主要列舉瞭在分布式係統應用中經常用到的一些主流技術,並介紹這些技術的作用和用法;這些技術涵蓋瞭分布式消息服務、分布式計算、分布式存儲、分布式監控係統、分布式版本控製、RESTful、微服務、容器等領域的內容。第三部分選舉瞭以淘寶網和 Twitter 為代錶的國內外知名互聯網企業的大型分布式係統案例,分析其架構設計以及演變過程;這部分相當於是對第二部分零散的技術點做一個“串燒”,讓讀者可以結閤技術的理論,看到實戰的效果。
多年軟件開發管理及係統架構經驗。負責過多個省、***大型分布式係統的設計與研發,也負責過多個大型項目的微服務架構的技術改造,在實際工作中,積纍瞭大量的微服務架構經驗。
第1章 分布式係統基礎知識 1
1.1 概述 2
1.1.1 什麼是分布式係統 2
1.1.2 集中式係統VS.分布式係統 3
1.1.3 如何設計分布式係統 4
1.1.4 分布式係統所麵臨的挑戰 5
1.2 綫程 6
1.2.1 什麼是綫程 6
1.2.2 進程和綫程 7
1.2.3 編程語言中的綫程對象 8
1.2.4 SimpleThreads示例 11
1.3 通信 14
1.3.1 網絡基礎知識 14
1.3.2 網絡I/O模型的演進 19
1.3.3 遠程過程調用(RPC) 33
1.3.4 麵嚮消息的通信 41
1.4 一緻性 43
1.4.1 以數據為中心的一緻性模型 44
1.4.2 以客戶為中心的一緻性 45
1.5 容錯性 46
1.5.1 基本概念 46
1.5.2 故障分類 47
1.5.3 使用冗餘來掩蓋故障 48
1.5.4 分布式提交 48
1.6 CAP理論 52
1.6.1 什麼是CAP理論 52
1.6.2 為什麼說CAP隻能三選二 53
1.6.3 CAP常見模型 55
1.6.4 CAP的意義 56
1.6.5 CAP最新發展 56
1.7 安全性 57
1.7.1 基本概念 58
1.7.2 加密算法 60
1.7.3 安全通道 63
1.7.4 訪問控製 72
1.8 並發 74
1.8.1 綫程與並發 75
1.8.2 並發與並行 75
1.8.3 並發帶來的風險 76
1.8.4 同步(Synchronization) 78
1.8.5 原子訪問(Atomic Access) 83
第2章 分布式係統架構體係 85
2.1 基於對象的體係結構 86
2.1.1 分布式對象 86
2.1.2 微軟DCOM(COM+) 87
2.1.3 CORBA 88
2.1.4 Java RMI 90
2.2 麵嚮服務的架構(SOA) 93
2.2.1 架構VS.標準 94
2.2.2 SOA的基本概念 95
2.2.3 基於Web Services的SOA 97
2.2.4 SOA的演變 112
2.3 REST風格的架構 112
2.3.1 什麼是REST 112
2.3.2 REST有哪些特徵 113
2.3.3 Java實現REST的例子 115
2.3.4 REST API最佳實踐 125
2.4 微服務架構(MSA) 128
2.4.1 什麼是MSA 128
2.4.2 MSA VS. SOA 130
2.4.3 何時采用MSA 134
2.4.4 如何構建微服務 135
2.5 容器技術 139
2.5.1 虛擬化技術 139
2.5.2 容器VS.虛擬機 139
2.5.3 基於容器的持續部署 142
2.6 Serverless架構 149
2.6.1 什麼是Serverless架構 150
2.6.2 Serverless典型的應用場景 151
2.6.3 常見的Serverless框架 153
2.6.4 Serverless架構原則 155
2.6.5 例子:使用Serverless實現遊戲全球同服 157
第3章 分布式消息服務 164
3.1 Apache ActiveMQ 165
3.1.1 Apache ActiveMQ簡介 165
3.1.2 Apache ActiveMQ安裝配置 166
3.1.3 例子:producer-consumer 173
3.1.4 例子:使用JMX來監控ActiveMQ 174
3.1.5 例子:使用Java實現producer-consumer 176
3.2 RabbitMQ 180
3.2.1 RabbitMQ簡介 180
3.2.2 RabbitMQ安裝配置 181
3.2.3 例子:Work Queues 185
3.2.4 例子:Publish/Subscribe 191
3.2.5 例子:Routing 195
3.2.6 例子:Topics 200
3.2.7 例子:RPC 204
3.3 RocketMQ 210
3.3.1 RocketMQ簡介 210
3.3.2 RocketMQ安裝配置 213
3.3.3 例子:使用Java實現producer-consumer 214
3.3.4 RocketMQ最佳實踐 219
3.4 Apache Kafka 223
3.4.1 Apache Kafka簡介 224
3.4.2 Apache Kafka的核心概念 225
3.4.3 Apache Kafka的使用場景 228
3.4.4 Apache Kafka的安裝、配置、使用 229
第4章 分布式計算 236
4.1 MapReduce 237
4.1.1 MapReduce簡介 237
4.1.2 MapReduce的編程模型 238
4.1.3 MapReduce的實現 243
4.1.4 MapReduce的使用技巧 248
4.2 Apache Hadoop 251
4.2.1 Apache Hadoop簡介 252
4.2.2 Apache Hadoop核心組件 253
4.2.3 Apache Hadoop單節點上的安裝配置 254
4.2.4 Apache Hadoop集群上的安裝配置 258
4.2.5 例子:詞頻統計WordCount程序 267
4.3 Apache Spark 272
4.3.1 Apache Spark簡介 272
4.3.2 Apache Spark與Apache Hadoop的關係 274
4.3.3 Apache Spark 2.0的新特性 275
4.3.4 Apache Spark的安裝和使用 279
4.3.5 Apache Spark集群模式 280
4.4 Apache Mesos 282
4.4.1 Apache Mesos簡介 283
4.4.2 Apache Mesos的安裝、使用 285
4.4.3 設計高可用的Mesos framework 289
第5章 分布式存儲 296
5.1 Bigtable 297
5.1.1 Bigtable簡介 297
5.1.2 Bigtable的數據模型 298
5.1.3 Bigtable的實現 300
5.1.4 Bigtable的性能優化 304
5.2 Apache HBase 308
5.2.1 Apache HBase簡介 308
5.2.2 Apache HBase基本概念 310
5.2.3 Apache HBase架構 318
5.2.4 Apache HBase的安裝、配置、使用 332
5.2.5 本地僞分布式 336
5.2.6 完全分布式 338
5.3 Apache Cassandra 342
5.3.1 Apache Cassandra簡介 342
5.3.2 Apache Cassandra的應用場景 345
5.3.3 Apache Cassandra的架構、數據模型 346
5.3.4 用於配置Apache Cassandra的核心組件 347
5.3.5 Apache Cassandra的安裝、配置、使用 349
5.4 Memcached 352
5.4.1 Memcached簡介 352
5.4.2 Memcached的架構 353
5.4.3 Memcached的安裝、使用 355
5.4.4 Memcached客戶端 358
5.5 Redis 370
5.5.1 Redis簡介 370
5.5.2 Redis的下載、安裝、使用 372
5.5.3 Redis的數據類型及抽象 372
5.6 MongoDB 392
5.6.1 MongoDB簡介 392
5.6.2 MongoDB的安裝、配置、運行 394
5.6.3 MongoDB核心概念 401
5.6.4 MongoDB的數據模型 406
5.6.5 示例:Java連接MongoDB 420
第6章 分布式監控 422
6.1 Nagios 423
6.1.1 Nagios簡介 423
6.1.2 Nagios的安裝、使用 424
6.1.3 Nagios監控 428
6.1.4 Nagios插件 446
6.2 Zabbix 448
6.2.1 Zabbix簡介 449
6.2.2 安裝Zabbix 451
6.2.3 Zabbix對於容器的支持 460
6.2.4 Zabbix基本概念 463
6.3 Consul 474
6.3.1 Consul簡介 475
6.3.2 Consul架構 476
6.3.3 Consul的安裝和使用 478
6.3.4 Consul agent 492
6.4 ZooKeeper 501
6.4.1 ZooKeeper簡介 501
6.4.2 ZooKeeper的安裝和使用 505
6.4.3 ZooKeeper內部工作原理 509
6.4.4 例子:ZooKeeper實現barrier和producer-consumer queue 514
第7章 分布式版本控製係統 522
7.1 Bazaar 523
7.1.1 Bazaar簡介 523
7.1.2 Bazaar的核心概念 525
7.1.3 Bazaar的安裝 526
7.1.4 Bazaar的使用 528
7.2 Mercurial 533
7.2.1 Mercurial簡介 533
7.2.2 Mercurial的核心概念 533
7.2.3 Mercurial的安裝 537
7.2.4 Mercurial的使用 538
7.3 Git 545
7.3.1 Git簡介 545
7.3.2 Git的安裝 546
7.3.3 Git的基礎概念 548
7.3.4 Git的使用 551
第8章 RESTful API、微服務及容器技術 578
8.1 Jersey 579
8.1.1 Jersey簡介 579
8.1.2 Jersey的模塊和依賴 580
8.1.3 JAX-RS核心概念 583
8.1.4 例子:用SSE構建實時Web應用 595
8.2 Spring Boot 603
8.2.1 Spring Boot簡介 603
8.2.2 Spring Boot的安裝 604
8.2.3 Spring Boot的使用 610
8.2.4 Spring Boot的屬性與配置 615
8.3 Docker 620
8.3.1 Docker簡介 621
8.3.2 Docker的特性 621
8.3.3 Docker的概念和原理 622
8.3.4 Docker Engine的安裝 628
8.3.5 Docker的使用 633
第9章 淘寶網:“雙11”神話的締造者 636
9.1 從LAMP到Java平颱的轉變 637
9.1.1 淘寶網的誕生與發展 637
9.1.2 “平民英雄”LAMP架構 638
9.1.3 數據庫更改為Oracle 639
9.1.4 嚮Java平颱轉變 642
9.2 堅定不移地走“去IOE”的道路 643
9.2.1 使用小型機、EMC存儲 644
9.2.2 考慮“去IOE” 644
9.2.3 如何去“I” 646
9.2.4 如何去“O” 649
9.2.5 如何去“E” 650
9.3 打造雲計算,決戰“雙11” 653
9.3.1 “大淘寶”戰略簡介 653
9.3.2 成立阿裏雲,專注雲計算 656
9.3.3 利用大數據優化物流 660
9.3.4 技術是決勝“雙11”的關鍵 661
第10章 Twitter:實時信息傳遞的王者 664
10.1 緩存,讓響應更快 665
10.1.1 Twitter的誕生 665
10.1.2 RoR的蠻荒時代 666
10.1.3 使用Memcached 667
10.2 服務拆分與治理 668
10.2.1 關係數據庫不是萬靈藥 668
10.2.2 係統拆分,平颱轉換 670
10.2.3 Finagle 670
10.3 抗擊流量的洪流 672
10.3.1 業務的重新設計 673
10.3.2 Storm處理實時的大數據 675
10.3.3 從Storm到Heron 676
參考文獻 680
寫作背景
我一直想寫一本關於分布式係統方麵的書。一方麵是想把個人多年工作中涉及的分布式技術做一下總結,另一方麵也想把個人的經驗分享給廣大的讀者朋友。由於我的開發工作大都以Java為主,所以一開始的主題設想是“分布式Java”,書也以開源方式發布在互聯網上(網址為https://github.com/waylau/distributed-java)。
後來,陳曉猛編輯看到瞭這本開源書,以及我關於分布式係統方麵的博文,問我是否有興趣齣版分布式相關題材的圖書。當然書的內容不僅僅是“分布式Java”。
對於齣書一事,我猶豫良久。首先,本身工作挺忙,實在無暇顧及其他;其次,雖然我之前寫過超過一打的書籍(可見https://waylau.com/books/),但多是開源電子書,時間、內容方麵自然也就不會有太多約束,幾乎是“想寫就寫,沒有時間就不寫”,這個跟正式齣版還是存在比較大的差異的;最後,這本書涉及麵相對較廣,需要查閱大量資料,實在是太耗費精力。
但陳曉猛編輯還是鼓勵我能夠去嘗試做這個事情。思索再三,於是我便答應。當然,最後這本書還是在規定時間內完成瞭。它幾乎耗盡瞭我寫作期間所有的業餘和休息時間。
“不積跬步,無以至韆裏;不積小流,無以成江海。”雖然整本書從構思到編寫完成的時間不足一年,但書中的大部分知識點,卻是我在多年的學習、工作中積纍下來的。之所以能夠實現快速寫作,一方麵是做瞭比較嚴格的時間管理,另一方麵也得益於我多年堅持寫博客和開源書的習慣。
內容介紹
本書分為三大部分,即分布式係統基礎理論、分布式係統常用技術以及經典的分布式係統案例分析。第一部分為第1章和第2章,主要介紹分布式係統基礎理論知識,總結一些在設計分布式係統時需要考慮的範式、知識點以及可能會麵臨的問題。 第二部分為第3章到第8章,主要列舉瞭在分布式係統應用中經常用到的一些主流技術,並介紹這些技術的作用和用法。第三部分為第9章和第10章,選取瞭以淘寶網和Twitter為代錶的國內外知名互聯網企業的大型分布式係統案例,分析其架構設計以及演變過程。
第1章介紹分布式係統基礎理論知識,總結一些在設計分布式係統時需要考慮的範式、知識點以及可能會麵臨的問題,其中包括綫程、通信、一緻性、容錯性、CAP理論、安全性和並發等相關內容。
第2章詳細介紹分布式係統的架構體係,包括傳統的基於對象的體係結構、SOA,也包括最近比較火的RESTful風格架構、微服務、容器技術、Serverless架構等。
第3章介紹常用的分布式消息服務框架,包括Apache ActiveMQ、RabbitMQ、RocketMQ、Apache Kafka等。
第4章介紹分布式計算理論和應用框架方麵的內容,包括MapReduce、Apache Hadoop、Apache Spark、Apache Mesos 等。
第5章介紹分布式存儲理論和應用框架方麵的內容,包括Bigtable、Apache HBase、Apache Cassandra、Memcached、Redis、MongoDB等。
第6章介紹分布式監控方麵常用的技術,包括Nagios、Zabbix、Consul、ZooKeeper等。
第7章介紹常用的分布式版本控製工具,包括Bazaar、Mercurial、Git等。
第8章介紹RESTful API、微服務及容器相關的技術,著重介紹Jersey、Spring Boot、Docker等技術的應用。
第9章和第10章分彆介紹以淘寶網和Twitter為代錶的國內外知名互聯網企業的大型分布式係統案例,分析其架構設計以及演變過程。
源代碼
緻謝
首先,感謝電子工業齣版社博文視點公司的陳曉猛編輯,是您鼓勵我將本書付諸成冊,並在我寫作過程中審閱瞭大量稿件,給予瞭我很多指導和幫助。感謝工作在幕後的電子工業齣版社評審團隊對於本書在校對、排版、審核、封麵設計、錯誤改進方麵所給予的幫助,使本書得以順利齣版發行。
其次,感謝在我十幾年求學生涯中教育過我的所有老師。是你們將知識和學習方法傳遞給瞭我。感謝我曾經工作過的公司和單位,感謝和我一起共事過的同事和戰友,你們的優秀一直是我追逐的目標,你們所給予的壓力正是我不斷改進自己的動力。
感謝我的父母、妻子Funny和兩個女兒。由於撰寫本書,犧牲瞭很多陪伴傢人的時間。感謝你們對於我工作的理解和支持。
最後,特彆要感謝這個時代,互聯網讓所有人可以公平地享受這個時代的成果。感謝那些為計算機、互聯網所做齣貢獻的先驅,是你們讓我可以站在更高的“肩膀”上!感謝那些為本書提供靈感的佳作,包括《分布式係統原理與範式》《Unix Network Programming》《Enterprise SOA》《MapReduce Design Patterns》《Hadoop: The Definitive Guide》《Learning Hbase》《Advanced Analytics with Spark》《Pro Git》《Docker in Action》《淘寶技術這十年》《Hatching Twitter》,等等,詳細的書單可以參閱本書最後的“參考文獻”部分。
柳偉衛
2016年11月13日於杭州
作為一名資深架構師,我一直在關注分布式係統技術的前沿動態,並希望從中汲取靈感,優化現有係統架構。這本《分布式係統常用技術及案例分析》雖然書名看起來偏嚮基礎,但其深度和廣度都超齣瞭我的預期。書中對分布式共識算法的講解,如Paxos的演進和Raft的簡化,以及它們在ZooKeeper、etcd等分布式協調服務中的實際應用,讓我對高可用、強一緻性係統的底層原理有瞭更深入的洞察。此外,書中關於分布式存儲技術,特彆是NoSQL數據庫(如HBase、Cassandra)的設計哲學和適用場景,以及如何通過分片、復製等手段實現數據的高可用和可擴展性,都給瞭我很多啓發。我尤其欣賞書中對“分布式數據庫的挑戰與演進”這一部分的分析,它不僅迴顧瞭傳統關係型數據庫在分布式環境下的局限性,還展望瞭NewSQL等新型分布式數據庫的發展方嚮。這種宏觀的視野和對技術趨勢的把握,對於我進行長遠的技術規劃非常有幫助。總而言之,這是一本能夠滿足資深技術人員深度探索需求的優秀著作,它提供的案例分析尤其具有參考價值。
評分最近我一直在思考如何提升我們團隊在分布式係統方麵的整體能力,所以購買瞭《分布式係統常用技術及案例分析》這本書來作為團隊的學習資料。讓我驚喜的是,這本書的內容遠不止於“常用技術”,它還深入探討瞭“係統性容錯”和“性能優化”等更為高級的話題。例如,書中關於“混沌工程”的章節,詳細介紹瞭如何通過主動引入故障來驗證係統的韌性,這對於我們構建更健壯的分布式係統提供瞭寶貴的思路。另外,在性能優化的部分,作者並沒有僅僅停留在淺層的調優技巧,而是從分布式係統的瓶頸分析入手,例如網絡延遲、序列化開銷、CPU利用率等,並結閤具體的案例,給齣瞭係統性的解決方案,這對於我們團隊提升服務的響應速度和吞吐量非常有指導意義。書中對於不同技術在不同場景下的權衡和取捨的分析,也幫助我們團隊成員能夠更理性地選擇閤適的技術棧。總的來說,這本書的內容非常實用,能夠幫助團隊成員在分布式係統領域建立起更紮實的理論基礎和更豐富的實戰經驗。
評分我是一名剛剛接觸分布式係統不久的技術新人,在學習過程中常常感到迷茫,不知道從何入手。偶然間翻開瞭《分布式係統常用技術及案例分析》,這本書簡直是為我量身定製的。它用通俗易懂的語言,將復雜的分布式係統概念拆解開來,比如分布式鎖的實現原理,各種鎖的優劣勢分析,以及在實際項目中如何選擇和使用,書中都有非常詳細的講解。我特彆喜歡書中對“服務治理”這一章節的論述,它清晰地解釋瞭服務注冊、服務發現、負載均衡、熔斷降容等核心機製,並且通過一個實際的微服務架構案例,展示瞭這些技術是如何協同工作的,幫助我建立起瞭一個完整的分布式係統架構圖。作者的敘述方式非常注重實踐,很少齣現空洞的理論,而是通過一個個生動的案例,將抽象的概念具象化。例如,在講解如何構建高可用係統時,書中列舉瞭多個失敗案例的教訓,讓我深刻認識到設計中的細節和潛在風險。這本書的條理清晰,內容豐富,無疑是分布式係統入門者不可多得的寶藏。
評分我是一位對分布式係統領域充滿好奇的愛好者,雖然我的工作主要集中在前端開發,但一直對後端技術抱有濃厚的興趣。在朋友的推薦下,我入手瞭《分布式係統常用技術及案例分析》,這本書徹底改變瞭我對分布式係統的認知。我之前一直認為分布式係統是高不可攀的,但這本書用非常貼近實際的案例,將復雜的概念變得易於理解。書中對“分布式緩存”的應用場景講解得非常到位,比如如何利用Redis、Memcached來緩解數據庫壓力,提升用戶訪問體驗,這些都是我之前從未深入瞭解過的。更讓我驚喜的是,書中還涉及到瞭“大數據處理”的相關技術,比如MapReduce、Spark等,雖然隻是初步介紹,但足以讓我窺探到大數據世界的一角。作者的寫作風格非常平實,沒有過多的技術術語堆砌,而是用一種循序漸進的方式引導讀者去理解。我特彆喜歡書中關於“係統可靠性工程”的探討,它讓我明白瞭在構建復雜係統時,如何去考慮各種可能的故障,並提前做好應對措施。這本書為我打開瞭一扇瞭解後端世界的大門,讓我對分布式係統産生瞭濃厚的興趣,並且激發瞭我進一步學習的動力。
評分作為一個對技術探索充滿熱情的老程序員,我一直在尋找一本能夠係統性梳理分布式係統核心技術,並結閤實際案例講解的書籍。這本《分布式係統常用技術及案例分析》恰好填補瞭這一空白。書中對CAP理論、一緻性協議(如Paxos、Raft)、分布式事務、消息隊列、緩存、負載均衡等關鍵概念的闡述,邏輯嚴謹,層層遞進,即使是初學者也能快速掌握其精髓。尤其讓我印象深刻的是,作者並沒有止步於理論的講解,而是深入剖析瞭淘寶、微信、Google等知名互聯網公司在構建和優化分布式係統時遇到的挑戰以及他們是如何運用這些技術解決問題的。例如,在講到分布式事務時,書中詳細對比瞭XA、TCC、Saga等不同模式的優缺點,並結閤瞭電商平颱的訂單處理場景,讓我對如何在復雜業務場景下保證數據一緻性有瞭更深刻的理解。再比如,在介紹消息隊列時,作者不僅講解瞭Kafka、RabbitMQ等主流MQ的原理,還分析瞭它們在日誌收集、異步處理、實時數據流等場景下的應用,這些都是我工作中經常會遇到的痛點。總的來說,這本書的內容非常詳實,理論與實踐的結閤做得非常齣色,為我打開瞭分布式係統技術應用的新視角,讓我受益匪淺。
評分發貨很快,質量還不錯,很滿意,清晰效果很好
評分非常好,一直用這個,很滿意。
評分單位買的,項目前準備資料,希望能有用!
評分正版,紙質很好,內容豐富,通俗易懂,值得推薦,物流很快
評分¥82.90分布式係統常用技術及案例分析
評分都已經上班好幾年瞭,重新再拿起來好好學學,好好看看來著……
評分有理論,有案例,有實踐
評分內容很好,適閤初學者
評分偏重理論.
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度,google,bing,sogou 等
© 2025 book.cndgn.com All Rights Reserved. 新城书站 版權所有