本書分為三大部分，共九章。第壹部分(第1章)主要介紹了企業(yè)大數(shù)據(jù)系統(tǒng)的前期準備工作，包括如何構(gòu)建企業(yè)大數(shù)據(jù)處理系統(tǒng)的軟件環(huán)境和集群環(huán)境。第二部分(第2～7章)首先介紹了Spark的基本原理，Spark2.0版本的SparkSQL、StructuredStreaming原理和使用方法，以及Spark的多種優(yōu)化方式；然后，介紹了Druid的基本原理、集群的搭建過程、數(shù)據(jù)攝入過程，以及在查詢過程中如何實現(xiàn)Druid查詢API；接著介紹了日志收集系統(tǒng)Flume的基本架構(gòu)和關(guān)鍵組件，以及分層日志收集架構(gòu)的設計與實踐；后介紹了分布式消息隊列Kafka的基本架構(gòu)和集群搭建過程，以及使用Java語言實現(xiàn)客戶端API的詳細過程。第三部分(第8～9章)主要介紹了企業(yè)大數(shù)據(jù)處理的兩個實際應用案例，分別是基于Druid構(gòu)建多維數(shù)據(jù)分析平臺和基于JMX指標的監(jiān)控系統(tǒng)。
肖冠宇目前就職于樂視網(wǎng)智能中心大數(shù)據(jù)部，曾就職于人民在線大數(shù)據(jù)團隊，主要進行廣告數(shù)據(jù)分析、大數(shù)據(jù)產(chǎn)品研發(fā)等工作，具有多年大數(shù)據(jù)產(chǎn)品研發(fā)、高性能分布式框架、實時計算等經(jīng)驗，對整個Hadoop生態(tài)系統(tǒng)的各項技術(shù)都非常了解，有豐富的實踐經(jīng)驗。
Contents?目 錄
前 言
及時部分 準備工作
第1章 基礎(chǔ)環(huán)境準備 2
1.1 軟件環(huán)境準備 2
1.2 集群環(huán)境準備 4
1.2.1 Zookeeper集群部署 4
1.2.2 Hadoop部署 6
1.3 小結(jié) 15
第二部分 核心技術(shù)
第2章 Spark詳解 18
2.1 Spark概述 18
2.1.1 Spark概述 18
2.1.2 Shuff?le詳解 25
2.2 Spark SQL 29
2.2.1 SparkSession 29
2.2.2 DataFrame 30
2.2.3 DataSet 35
2.3 Structured Streaming 35
2.3.1 數(shù)據(jù)源 36
2.3.2 輸出到外部存儲 38
2.3.3 WordCount示例 40
2.4 Spark優(yōu)化 42
2.4.1 數(shù)據(jù)優(yōu)化 42
2.4.2 代碼優(yōu)化 44
2.4.3 參數(shù)優(yōu)化 46
2.5 小結(jié) 48
第3章 Druid原理及部署 49
3.1 架構(gòu)設計 49
3.1.1 節(jié)點類型 49
3.1.2 Segment介紹 57
3.1.3 容錯處理 59
3.1.4 路由節(jié)點 60
3.2 集群部署 63
3.2.1 集群規(guī)劃 63
3.2.2 配置安裝 64
3.3 小結(jié) 72
第4章 Druid數(shù)據(jù)攝入 73
4.1 模式設計 73
4.1.1 設計概述 73
4.1.2 數(shù)據(jù)解析 75
4.1.3 Segment分區(qū) 79
4.1.4 模式更改 81
4.2 批量數(shù)據(jù)攝入 81
4.3 流數(shù)據(jù)攝入 87
4.3.1 Tranquility 88
4.3.2 StreamPush 91
4.3.3 從Kafka中攝取數(shù)據(jù) 92
4.4 數(shù)據(jù)更新 94
4.5 小結(jié) 95
第5章 Druid客戶端 96
5.1 涉及組件 96
5.1.1 查詢相關(guān) 96
5.1.2 過濾器 99
5.1.3 聚合粒度 101
5.1.4 聚合器 105
5.2 查詢類型 109
5.2.1 時間序列查詢 109
5.2.2 TopN查詢 111
5.2.3 分組查詢 113
5.2.4 元數(shù)據(jù)查詢 117
5.2.5 搜索查詢 121
5.3 查詢API 125
5.3.1 RESTful介紹 125
5.3.2 Jersey客戶端 126
5.4 小結(jié) 129
第6章 日志收集 130
6.1 Flume介紹 130
6.1.1 基本架構(gòu) 131
6.2 Flume應用實踐 144
6.2.1 攔截器、選擇器實踐 144
6.2.2 負載均衡、故障轉(zhuǎn)移實踐 149
6.2.3 設計與實踐 150
6.3 小結(jié) 154
第7章 分布式消息隊列 155
7.1 Kafka介紹 155
7.1.1 基本架構(gòu) 155
7.1.2 高吞吐的實現(xiàn) 157
7.1.3 高可用的實現(xiàn) 160
7.2 安裝部署 161
7.2.1 Broker配置參數(shù) 161
7.2.2 分布式部署 162
7.3 客戶端API 163
7.3.1 Producer API 164
7.3.2 Consumer API 165
7.4 小結(jié) 169
第三部分 項目實踐
第8章 數(shù)據(jù)平臺 172
8.1 需求分析 172
8.2 功能實現(xiàn) 173
8.2.1 架構(gòu)設計 173
8.2.2 關(guān)鍵功能實現(xiàn) 175
8.3 小結(jié) 184
第9章 監(jiān)控系統(tǒng) 185
9.1 Inf?luxDB 185
9.1.1 Inf?luxDB簡介 186
9.1.2 Inf?luxDB安裝 186
9.1.3 Inf?luxDB操作 188
9.1.4 Inf?luxDB客戶端 191
9.2 JMXTrans 192
9.2.1 JMXTrans介紹 192
9.2.2 JMXTrans安裝 194
9.2.3 JMXTrans使用 195
9.3 Grafana 198
9.3.1 Grafana安裝 198
9.3.2 Grafana使用 199
9.4 小結(jié) 208
