目前大數據技術已經日趨成熟，但是業界發現與大數據相關的產品設計和研發仍然非常困難，技術、產品和商業的結合度還遠遠不夠。這主要是因為大數據涉及范圍 廣、技術含量高、更新換代快，門檻也比其他大多數IT行業更高。人們要么使用昂貴的商業解決方案，要么花費巨大的精力摸索。本書通過一個虛擬的互聯網 O2O創業故事，來逐步展開介紹創業各個階段可能遇到的大數據課題、業務需求，以及相對應的技術方案，甚至是實踐解析；讓讀者身臨其境，一起來探尋大數據 的奧秘。書中會覆蓋較廣泛的技術點，并提供相應的背景知識介紹，對于想進一步深入研究細節的讀者，也可輕松獲得繼續閱讀的方向和指導性建議。
作者榮獲美國政府頒發的“美國杰出人才”稱號。大潤發中國區董事長、飛牛網首席執行董事黃明端先生與eBay全球零售科學高級總監逄偉先生作序力薦！
將技術與商業需求相結合，深入剖析大數據商業應用中的困惑與難題，幫助讀者更好地掌握技術支撐業務高速發展的方案！
黃申，博士，畢業于上海交通大學計算機科學與工程專業，師從俞勇教授。微軟學者，IBMExtremeBlue天才計劃成員。長期專注于大數據相關的搜 索、推薦、廣告以及用戶精準化領域。曾在微軟亞洲研究院、eBay中國、沃爾瑪1號店和大潤發飛牛網擔任要職，帶隊完成了若干公司級的戰略項目。同時著有 20多篇國際論文和10多項國際專利，兼任《計算機工程》期刊特邀審稿專家。因其對業界的貢獻，2015年獲得美國政府頒發的“美國杰出人才”稱號。
推薦序
推薦序二
前
第1章 抉擇 1
第2章 數據收集 4
2.1 互聯網數據收集 4
2.1.1 網絡爬蟲 5
2.1.2 Apache Nutch簡介 11
2.1.3 Heritrix簡介 14
2.2 內部數據收集 15
2.2.1 Apache Flume簡介 17
2.2.2 Facebook Scribe和Logstash 21
2.3 本章心得 21
2.4 參考資料 22
第3章 數據存儲 23
3.1 持久化存儲 23
3.1.1 Hadoop和HDFS 25
3.1.2 HBase簡介 28
3.1.3 MongoDB 35
3.2 非持久化存儲 37
3.2.1 緩存和散列 37
3.2.2 Memcached和Berkeley DB簡介 41
3.2.3 Redis簡介 41
3.3 本章心得 44
3.4 參考資料 44
第4章 數據處理 46
4.1 離線批量處理 46
4.1.1 Hadoop的MapReduce 47
4.1.2 Spark簡介 52
4.1.3 Hive簡介 53
4.1.4 Pig、Impala和Spark SQL 56
4.2 提升及時性：消息機制 58
4.2.1 ActiveMQ簡介 60
4.2.2 Kafka簡介 61
4.3 在線實時處理 63
4.3.1 Storm簡介 63
4.3.2 Spark Streaming簡介 66
4.4 本章心得 66
4.5 參考資料 67
第5章 信息檢索 69
5.1 基本理念 70
5.2 相關性 70
5.2.1 布爾模型 70
5.2.2 基于排序的布爾模型 71
5.2.3 向量空間模型 74
5.2.4 語言模型 75
5.3 及時性 77
5.4 與數據庫查詢的對比 81
5.5 搜索引擎 82
5.5.1 Web搜索中的鏈接分析 83
5.5.2 電子商務中的商品排序 86
5.5.3 多因素和基于學習的排序 88
5.5.4 系統框架 89
5.5.5 Lucene簡介 93
5.5.6 Solr簡介 98
5.5.7 Elasticsearch簡介 104
5.6 推薦系統 108
5.6.1 推薦的核心要素 109
5.6.2 推薦系統的分類 110
5.6.3 混合模型 115
5.6.4 系統架構 116
5.6.5 Mahout 116
5.7 在線廣告 119
5.8 本章心得 127
5.9 參考資料 128
第6章 數據挖掘 130
6.1 基本理念 131
6.2 數據的表示和預處理 133
6.3 機器學習算法 136
6.4 挖掘工具 157
6.5 本章心得 165
6.6 參考資料 165
第7章 效能評估 167
7.1 效果評估 168
7.2 性能評估 190
7.3 本章心得 202
7.4 參考資料 202
第8章 大數據技術全景 204
第9章 商品太多啦！需要搜索引擎 207
9.1 業務需求 207
9.2 產品設計和技術選型 208
9.3 實現方案 211
第10章 能否更主動？還需要推薦引擎 223
10.1 業務需求 223
10.2 產品設計和技術選型 225
10.3 實現方案 230
第11章 這樣做的效果如何 241
11.1 業務需求 241
11.2 產品設計和技術選型 242
11.3 實現方案 243
第12章 這個搜索有點遜 258
12.1 業務需求：還要搜得更多 258
12.2 “還要搜得更多”：產品設計和技術選型 259
12.3 “還要搜得更多”的方案實現 261
12.4 業務需求：還要搜得更準 265
12.5 “還要搜得更準”：產品設計和技術選型 266
12.6 “還要搜得更準”的方案實現 271
12.7 業務需求：還要更快 273
12.8 還要“變”得更快：產品設計和技術選型 274
12.9 還要“搜”得更快：產品設計和技術選型 275
12.10 業務需求：給點提示吧 280
12.11 給點提示吧：產品設計和技術選型 282
第13章 支持更高效的運營 287
13.1 業務需求：互聯網時代的CRM 287
13.2 互聯網時代的CRM：產品設計和技術選型 288
13.3 業務需求：抓住搗蛋鬼 291
13.4 抓住搗蛋鬼：產品設計和技術選型 292
13.5 業務需求：銷售之戰 295
13.6 銷售之戰：產品設計和技術選型 296
后記 299
作者在1號店的三年(2012-2014年)，正是1號店系統快速發展的三年，即從大型電商系統轉向巨型電商系統的階段。而作者在此期間的貢獻，對1號店 搜索系統的變革起到了關鍵的作用，他和他的團隊也藉此獲得了“總裁特別獎”。通讀全書，我發現該書不僅是大數據技術的探討，也是技術和業務結合的心路歷 程。對大數據感興趣的同行，定能從中獲得全新的認識。
—— 韓軍 原1號店CTO 現歐電云科技董事長
我和作者曾經一起負責過eBay全球的數據挖掘項目，他的商業敏感度和創新精神讓我記憶猶新。不過沒有想到，對于寫書，他也是個好手。此書既講述大數據的理論知識，也介紹實際經驗，適合不同層次的讀者，并能幫助他們解決商業應用中的困惑與難題。
—— Yongzheng Zhang LinkedIn(領英) 商務分析經理
我曾經負責整個1號商城的運營，同作者有過不少項目上的對接。對于我們提出的運營相關問題，作者都能運用合適的技術方案，順利地解決。當得知他要撰寫一 本與大數據技術相關的圖書，我已經迫不及待地想一探究竟，感受業務和技術融合的神奇。希望廣大讀者在讀完此書后也能收獲頗豐。
—— 吳海泉 原1號店副總裁 現美的集團電商總經理
作為互聯網企業，通常面臨的難題是大數據相關的產品設計門檻較高，缺乏專業的人才。當作者向我介紹這本書的時候，我沒有想到他竟能將種種復雜的技術問題，說得如此生動、易懂、易學。相信這樣的書籍，對數據產品經理的培養、大數據技術的產品化都有不小的促進作用。
—— 王欣磊 百度LBS新業務產品總監
作者對業務運營具有深刻理解，他加盟1號店的階段，公司在搜索、數據處理技術方面的實力猛增，相關體驗和口碑大幅提升。這次他將其寶貴的實戰經驗在此書中和大家分享，相信對于廣大讀者而言實在是非常棒的福利，不容錯過。
——黃志雄
原1號店副總裁 現永輝集團電商總經理
我和作者有過不少項目合作，其敏銳的業務洞察力給我留下了深刻的印象。從他提供的書稿中，我確實體會到其深厚的專業功力和精心的全文構思。對于每位大數據產品經理而言，這樣深入淺出的書籍必不可少。
——張旭強
原1號店產品負責人 現高級產品專家
本書作者對大數據以及互聯網技術有著自己獨特的見解。相信本書會給大家帶來更為完整和詳細的技術剖析，幫助讀者更好地理解技術如何支撐業務的高速發展。
——劉尚堃
京東商城 推薦搜索部總監
在與作者的探討中，我深刻感受到了他在挖掘算法和大數據處理方面的專業素養。這本書秉承了他一貫嚴謹、務實的做事風格，將需求和技術緊密結合，仔細閱讀一定會深受啟發。
——諸超
唯品會 云計算高級總監
滿意
不錯！
^_^
有點技術含量，需要技術基礎才能看懂
質量不錯，快遞也可以。
很好
1萬個贊
很好的一本書
很好，謝謝！
內容很好，很基礎，值得好好的閱讀！！！
很不錯的一本書。
滿意滿意滿意
質量很好 書很新 值得購買 下次會介紹朋友買
內容通俗易懂，基礎版，值得一看。
上午拿到書，大致翻過一遍，讓人覺得驚喜。畢竟國內原創的書寫到這個地步相當不易了。特別是后半部分都是大數據設計的干貨，值得收藏和研究
實用型的大數據叢書，對于技術選型很有幫助。特別是搜索和推薦系統介紹的算法，架構介紹的很詳細，非常滿意
