本書圍繞數(shù)據(jù)中心IT基礎資源優(yōu)化調(diào)度管理關鍵問題，介紹了云計算的發(fā)展背景和挑戰(zhàn)性問題、主要服務提供商的數(shù)據(jù)中心解決方案和國內(nèi)外研究現(xiàn)狀，對資源優(yōu)化調(diào)度管理領域內(nèi)的主要挑戰(zhàn)性問題進行了深入分析和探索，特別是實時負載均衡調(diào)度、能耗敏感調(diào)度、計算資源化利潤調(diào)度、云工作流和數(shù)據(jù)中心模擬系統(tǒng)設計應用等關鍵內(nèi)容，希望為讀者深入了解相關知識和有興趣的研究人員提供一些借鑒。
田文洪, 電子科技大學計算機學院副教授，研究方向主要集中在云計算網(wǎng)絡動態(tài)設計和資源管理調(diào)度、物聯(lián)網(wǎng)管理系統(tǒng)等領域，擅長以簡潔創(chuàng)新的方式解決復雜網(wǎng)絡問題，特別是在云計算、高性能資源調(diào)度管理、綠色節(jié)能調(diào)度方面他積累了豐富的經(jīng)驗，具有很深的造詣, 基本達到國際先進水平。
第1章 云計算概述
1.1 云計算發(fā)展背景
1.2 云計算是集大成者
1.2.1 并行計算
1.2.2 網(wǎng)格計算
1.2.3 效用計算
1.2.4 普適計算
1.2.5 SaaS
1.2.6 虛擬化技術
1.3 云計算的驅(qū)動因素
1.3.1 云計算發(fā)展現(xiàn)狀和趨勢
1.3.2 云計算應用初步分類
1.4 云計算產(chǎn)業(yè)鏈中的不同角色
1.5 云計算的主要特征和技術挑戰(zhàn)
1.5.1 云計算的主要特征
1.5.2 挑戰(zhàn)性問題
1.6 小結(jié)
思考題
參考文獻
第2章 數(shù)據(jù)中心
2.1 數(shù)據(jù)中心概述
2.1.1 數(shù)據(jù)中心簡介
2.1.2 數(shù)據(jù)中心的需求和挑戰(zhàn)
2.2 云計算數(shù)據(jù)中心資源調(diào)度需求分析
2.2.1 技術需求
2.2.2 技術目標
2.3 云計算數(shù)據(jù)中心資源調(diào)度研究進展
2.4 云計算數(shù)據(jù)中心資源調(diào)度方案分析
2.4.1 Google解決方案
2.4.2 Amazon解決方案
2.4.3 IBM解決方案
2.4.4 HP解決方案
2.4.5 VMware解決方案
2.4.6 其他廠家解決方案
2.5 云計算數(shù)據(jù)中心資源調(diào)度標準進展
2.6 云資源管理調(diào)度關鍵技術及研究熱點
2.7 小結(jié)
思考題
參考文獻
第3章 大數(shù)據(jù)處理
3.1 大數(shù)據(jù)的發(fā)展背景及定義
3.2 大數(shù)據(jù)問題
3.2.1 速度方面的問題
3.2.2 種類及架構問題
3.2.3 體量及靈活性問題
3.2.4 成本問題
3.2.5 價值挖掘問題
3.2.6 存儲及安全問題
3.2.7 互聯(lián)互通與數(shù)據(jù)共享問題
3.3 大數(shù)據(jù)與云計算的辯證關系
3.4 大數(shù)據(jù)技術
3.4.1 基礎架構支持
3.4.2 數(shù)據(jù)采集
3.4.3 數(shù)據(jù)存儲
3.4.4 數(shù)據(jù)計算
3.4.5 數(shù)據(jù)展現(xiàn)與交互
3.5 小結(jié)
思考題
參考文獻
第4章 云資源監(jiān)控管理
4.1 云數(shù)據(jù)中心監(jiān)控系統(tǒng)概述
4.1.1 研究背景
4.1.2 云數(shù)據(jù)中心資源監(jiān)控的方式
4.1.3 虛擬機監(jiān)控簡介
4.2 云數(shù)據(jù)中心監(jiān)控系統(tǒng)的相關研究
4.2.1 云數(shù)據(jù)中心監(jiān)控系統(tǒng)的功能需求分析
4.2.2 實現(xiàn)云監(jiān)控系統(tǒng)的關鍵技術
4.3 云數(shù)據(jù)中心計算資源監(jiān)控系統(tǒng)的設計與實現(xiàn)
4.3.1 云數(shù)據(jù)中心計算資源監(jiān)控系統(tǒng)的設計
4.3.2 云數(shù)據(jù)中心計算資源監(jiān)控系統(tǒng)的實現(xiàn)
4.4 云數(shù)據(jù)中心監(jiān)控系統(tǒng)數(shù)據(jù)分析
4.4.1 用戶請求展示
4.4.2 用排隊論分析用戶請求
4.4.3 云數(shù)據(jù)中心的功耗計算
4.5 云資源監(jiān)控系統(tǒng)的性能分析與評價
4.6 小結(jié)
思考題
參考文獻
第5章 實時負載均衡調(diào)度
5.1 引言
5.2 相關工作
5.2.1 示例說明
5.2.2 問題描述和模型建立
5.2.3 負載均衡調(diào)度算法的度量指標
5.3 OLRSA算法
5.4 算法性能比較
5.4.1 模擬設置
5.4.2 模擬仿真的結(jié)果和分析
5.5 小結(jié)
思考題
參考文獻
第6章 計算資源節(jié)能調(diào)度概述
6.1 數(shù)據(jù)中心節(jié)能研究背景
6.1.1 國內(nèi)外研究背景介紹
6.1.2 國內(nèi)外主要參考文獻
6.2 數(shù)據(jù)中心能耗模型
6.2.1 數(shù)據(jù)中心調(diào)度系統(tǒng)
6.2.2 數(shù)據(jù)中心能耗評估
6.2.3 服務器能耗模型
6.3 節(jié)能問題描述與建模
6.3.1 前置條件
6.3.2 主要節(jié)能調(diào)度算法分類
6.4 離線調(diào)度算法
6.4.1 同構且請求容量為單位容量
6.4.2 同構且請求容量為任意容量
6.5 在線調(diào)度算法
6.6 隨機調(diào)度算法
6.6.1 M/M/1排隊模型
6.6.2 M/M/k排隊模型
6.7 節(jié)能調(diào)度算法評估
6.7.1 理論分析證明
6.7.2 模擬對比分析
6.8 小結(jié)
思考題
參考文獻
第7章 離線和在線節(jié)能調(diào)度算法
7.1 離線節(jié)能調(diào)度算法
7.1.1 MFFDE算法分析
7.1.2 MFFDE算法的近似度證明
7.2 在線節(jié)能調(diào)度算法
7.2.1 BFF算法分析與近似度證明
7.2.2 BFF算法性能評估
7.3 MinTBT問題及節(jié)能調(diào)度算法在數(shù)據(jù)中心節(jié)能中的應用
7.4 小結(jié)
思考題
參考文獻
第8章 Hadoop集群節(jié)能調(diào)度管理
8.1 Hadoop介紹
8.1.1 Hadoop簡介
8.1.2 Hadoop框架
8.1.3 Hadoop運行流程
8.2 新型動態(tài)負反饋調(diào)度算法
8.2.1 Hadoop集群動態(tài)管理設計特點
8.2.2 負載模型設計
8.2.3 DANF算法設計與實現(xiàn)
8.2.4 動態(tài)調(diào)度模塊算法偽代碼
8.3 節(jié)能調(diào)度系統(tǒng)設計
8.3.1 系統(tǒng)總體架構
8.3.2 模塊詳細設計
8.4 系統(tǒng)測試和分析
8.4.1 測試環(huán)境
8.4.2 程序功能性測試
8.4.3 性能測試
8.5 Hadoop其他節(jié)能方式
8.6 小結(jié)
思考題
參考文獻
第9章 計算資源的利潤較大化問題
9.1 計算資源作為服務的利潤較大化
9.1.1 云計算與數(shù)據(jù)中心
9.1.2 數(shù)據(jù)中心的發(fā)展
9.2 傳統(tǒng)的較大化利潤解決方法
9.2.1 經(jīng)典的0-1背包問題
9.2.2 動態(tài)規(guī)劃法
9.2.3 貪婪算法
9.2.4 回溯法
9.3 區(qū)間調(diào)度問題介紹
9.4 帶權區(qū)間調(diào)度
9.4.1 傳統(tǒng)的帶權區(qū)間調(diào)度問題
9.4.2 WIS中的可相互兼容區(qū)間
9.4.3 帶權區(qū)間調(diào)度問題
9.5 考慮容量共享的帶權區(qū)間調(diào)度
9.5.1 考慮容量共享的帶權區(qū)間調(diào)度問題
9.5.2 WISWCS問題中可相互共享兼容的區(qū)間
9.5.3 WISWCS問題中的容量分割
9.5.4 WISWCS問題中的權值與容量成比例
9.5.5 較大化利潤的公式
9.5.6 一種考慮容量共享的調(diào)度算法
9.5.7 用SAWIS算法找出子集
9.6 可共享容量調(diào)度問題的應用
9.6.1 云計算中的虛擬機調(diào)度
9.6.2 通信鏈路共享
9.6.3 性能評估
9.7 相關工作
9.8 小結(jié)
思考題
參考文獻
第10章 云工作流應用
10.1 科學計算云平臺研究背景
10.2 工作流和云平臺集成的相關研究工作
10.3 科學計算云平臺的結(jié)構化方案
10.3.1 需求
10.3.2 架構
10.3.3 集成選項
10.3.4 實現(xiàn)細節(jié)
10.4 科學計算云平臺集群配置和產(chǎn)品部署
10.4.1 MODIS圖片處理工作流
10.4.2 產(chǎn)品部署
10.5 小結(jié)
思考題
參考文獻
第11章 數(shù)據(jù)中心調(diào)度模擬系統(tǒng)
11.1 引言
11.2 CloudSched的架構和主要特點
11.2.1 數(shù)據(jù)中心的建模
11.2.2 虛擬機分配的建模
11.2.3 用戶請求建模
11.3 不同調(diào)度算法的性能度量
11.3.1 多維度負載均衡的度量指標
11.3.2 節(jié)能算法的度量指標
11.3.3 較大化資源利用率的度量指標
11.3.4 置信區(qū)間的度量
11.4 CloudSched的設計與實現(xiàn)
11.4.1 數(shù)據(jù)中心的調(diào)度過程
11.4.2 調(diào)度算法——以LIF算法為例
11.5 性能評估
11.5.1 負載均衡比較
11.5.2 節(jié)能效果比較
11.6 小結(jié)
參考文獻
第12章 總結(jié)與展望
12.1 動態(tài)多層次分布式資源監(jiān)控
12.2 動態(tài)綜合調(diào)度策略和算法研發(fā)
12.3 多數(shù)據(jù)中心(多調(diào)度域)的調(diào)度策略和算法動態(tài)可選擇
12.4 監(jiān)控、調(diào)度和部署等功能融合
12.5 綠色節(jié)能數(shù)據(jù)中心的綜合解決方案
12.6 從基礎資源調(diào)度拓展到應用任務調(diào)度
前 言
"經(jīng)過精細規(guī)劃的優(yōu)化理論設計的實踐比隨意性或一般性實施在性能、節(jié)能以及提高運營利潤等方面可體現(xiàn)高出多個量級的效果，并不斷接近或達到化結(jié)果。"
云計算是一種計算模型和服務模式，它將計算任務分布在大量計算機構成的不同數(shù)據(jù)中心，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算能力、存儲空間和信息服務。提供資源的網(wǎng)絡或數(shù)據(jù)中心被稱為"云"。業(yè)界研究者將云計算列為水、電、氣、油之外的第五種公用資源(The Fifth Utility)。繼個人計算機變革、互聯(lián)網(wǎng)變革之后，云計算被看做第三次IT浪潮，是世界和中國戰(zhàn)略性新興產(chǎn)業(yè)的重要組成部分，它將帶來生活、生產(chǎn)方式和商業(yè)模式的深刻改變，已成為當前全社會關注的熱點。
云計算目前已經(jīng)廣泛應用于網(wǎng)絡搜索、科學計算、虛擬環(huán)境、能源和生物信息等領域的日常業(yè)務和創(chuàng)新性探索。IDC預測，未來4年中國云計算將產(chǎn)生1.1萬億元的市場。賽迪顧問2010年年底的《中國云計算產(chǎn)業(yè)發(fā)展白皮書》預測未來3年，云計算應用將以政府、電信、教育、醫(yī)療、金融、石油石化和電力等行業(yè)為重點，在中國市場逐步被越來越多的企業(yè)和機構采用，市場規(guī)模也將從2009年的92.23億元增長到2012年的606.78億元，年均復合增長率達87.4%。該報告預計中國云計算產(chǎn)業(yè)發(fā)展將分為準備階段(2007—2010年)、起飛階段(2011—2015年)和成熟階段(2015年以后)。
不少研究預言"將來的核心競爭在數(shù)據(jù)中心"。數(shù)據(jù)中心是容納計算設備資源的集中之地，同時負責對計算設備的能源提供和空調(diào)維護等。數(shù)據(jù)中心可以單獨建設，也可以置于其他建筑之內(nèi)，還可以是分布在不同地理位置的多個系統(tǒng)。云資源匯聚在一起，通過多租戶模式服務多個消費者。在物理上，資源以分布式的共享方式存在，但最終在邏輯上以單一整體的形式呈現(xiàn)給用戶。資源種類很多，分類角度也不一樣，本書所涉及的資源主要包括以下幾類。
物理服務器：構成數(shù)據(jù)中心的物理計算設備，每個物理服務器可以提供多個虛擬機，每個物理服務器可以由多個CPU、內(nèi)存、硬盤、網(wǎng)卡等構成。
物理集群：由多個物理服務器、必要的網(wǎng)絡和存儲設施構成的物理服務器組。
虛擬機：通過虛擬化軟件在物理服務器上生成的虛擬計算平臺，可以由多個虛擬化CPU、硬盤、網(wǎng)卡等構成。
虛擬集群：由多個虛擬機、必要的網(wǎng)絡和存儲設施構成的虛擬機組。
共享存儲：為數(shù)據(jù)中心的計算資源提供大容量存儲，可以被所有設備和用戶共享。
以上數(shù)據(jù)中心資源在本書中統(tǒng)稱為基礎資源，簡稱云資源。
云資源優(yōu)化管理調(diào)度技術是云計算應用的核心，是云計算得以大規(guī)模應用和提高系統(tǒng)性能、兼顧節(jié)能減排及運營成本等方面的關鍵技術。先進的動態(tài)資源調(diào)度管理，對于提高學校、政府、研究機構和企業(yè)計算資源的利用效率，節(jié)約能源，提高資源共享和降低運營成本都具有極大意義，值得深入系統(tǒng)地學習和研究。
資源管理調(diào)度是將資源從資源提供方分配給用戶的一個過程。對于資源過載(需求大于系統(tǒng)容量)，以及需求與容量隨著時間的推移而動態(tài)變化的事實，通過優(yōu)化資源調(diào)度管理，可以動態(tài)地重新分配資源，以便更高效地使用可用資源。業(yè)界一般將調(diào)度分為作業(yè)級調(diào)度和設施級調(diào)度。作業(yè)級調(diào)度是指針對具體的運行程序，系統(tǒng)將作業(yè)具體分配到哪些資源上運行的問題。例如，一些獨立的需要較多計算資源和較長運行時間的程序，或者高性能并行處理程序，這些程序往往需要較大規(guī)模的高性能計算資源(如云計算)才能很快完成。設施級調(diào)度主要指將底層資源作為一種基礎設施服務(Infrastructure as a Service，IaaS)提供給用戶，用戶依據(jù)實際情況使用這些資源。例如，數(shù)據(jù)中心的物理服務器(含CPU、內(nèi)存、網(wǎng)絡帶寬等)、虛擬機(含虛擬化的CPU、內(nèi)存、網(wǎng)絡帶寬等)及虛擬集群都屬于底層基礎資源。
本書側(cè)重于設施級(也稱應用級)調(diào)度，同時兼顧作業(yè)級調(diào)度(如MapReduce多任務)，并介紹資源動態(tài)優(yōu)化管理與調(diào)度。如果把數(shù)據(jù)中心作為一個整體與人體比較，資源優(yōu)化管理調(diào)度類似人的大腦，是最為核心的功能之一，具有極大的理論意義和實用價值。另外，資源監(jiān)控類似人的眼睛，資源部署類似人的四肢。目前的數(shù)據(jù)中心管理與調(diào)度大多僅實現(xiàn)了簡單的初級功能，還有很多問題亟須深入系統(tǒng)解決。針對基礎資源優(yōu)化管理調(diào)度，主要回答以下三大基本問題。
優(yōu)化目標問題：將所需的虛擬機(或虛擬集群)配置在某個數(shù)據(jù)中心物理服務器(或物理集群)的具體優(yōu)化函數(shù)(目標)是什么？如何建立高效的數(shù)學理論優(yōu)化模型？這涉及宏觀的管理策略制定。
優(yōu)化分配問題：具體在哪個數(shù)據(jù)中心的哪個物理服務器上(或物理集群)分配所需的虛擬機(或虛擬集群)以實現(xiàn)優(yōu)化目標？滿足的具體前提和限制條件有哪些？針對不同的優(yōu)化目標，業(yè)界優(yōu)化實踐方案有哪些？
實踐性能問題：針對理論優(yōu)化目標與模型，業(yè)界優(yōu)化管理調(diào)度方案的性能對比效果如何？如何選擇適合不同目標的具體方法？
"沒有理論的實踐是盲目的，沒有實踐的理論是蒼白的。"從優(yōu)化和長遠的角度來看，云計算的建設需要堅實的理論與實踐經(jīng)驗的結(jié)合，我們發(fā)現(xiàn)經(jīng)過精細規(guī)劃的優(yōu)化理論設計的實踐比隨意性或一般性實施在性能、節(jié)能以及提高運營利潤等方面可體現(xiàn)高出多個量級的效果，并不斷接近或達到化結(jié)果。經(jīng)過多年的數(shù)據(jù)中心建設的實踐和理論探索，我們在本書中提出并總結(jié)相關領域的優(yōu)化理論模型和實踐方法，在解決基本問題的同時，實現(xiàn)動態(tài)調(diào)度而不是靜態(tài)預先設定相關參數(shù)，兼顧資源(CPU、存儲、網(wǎng)絡等)的性能、熱耗、利用率等特性，本書稱為資源的動態(tài)綜合調(diào)度技術問題。
數(shù)據(jù)中心需要處理物理和虛擬資源的動態(tài)結(jié)合的優(yōu)化管理調(diào)度這一新問題，以實現(xiàn)高性能、節(jié)能減排及降低投資等目標。當前數(shù)據(jù)中心的資源調(diào)度不少仍然沿襲傳統(tǒng)方法，較為簡單化，難以滿足以上目標的精細化和動態(tài)變化的要求。數(shù)據(jù)中心調(diào)度面臨的挑戰(zhàn)性問題包括：在考慮配置動態(tài)可調(diào)虛擬機的分配和遷移以及物理機綜合性能，同時兼顧CPU、存儲、網(wǎng)絡等資源因素而非單一因素的情況下,如何解決用戶需求不一致和資源規(guī)格不一致造成的系統(tǒng)性能不平衡、能耗效率低下及成本過高等問題。
本書圍繞以上關鍵問題展開，介紹了主要云服務提供商的相關解決方案和國內(nèi)外研究現(xiàn)狀，以及對以上挑戰(zhàn)性問題的理論與實踐探索，希望為讀者深入了解相關知識內(nèi)容和有興趣的研究人員提供一些借鑒。
本書各章之間的關系緊密圍繞云資源優(yōu)化管理調(diào)度展開，如下圖所示。本書主要內(nèi)容包括云計算概述(第1章)、數(shù)據(jù)中心(第2章)、大數(shù)據(jù)處理(第3章)、云資源監(jiān)控管理(第4章)、實時負載均衡調(diào)度(第5章)、計算資源節(jié)能調(diào)度概述(第6章)、離線和在線節(jié)能調(diào)度算法(第7章)、Hadoop集群節(jié)能調(diào)度管理(第8章)、計算資源的利潤較大化問題(第9章)、云工作流應用(第10章)、數(shù)據(jù)中心調(diào)度模擬系統(tǒng)(第11章)，以及總結(jié)與展望(第12章)。本書可作為高年級本科生和研究生教材，也可作為相關專業(yè)研究人員的參考資料。
本書是編者對以上內(nèi)容大量理論知識與實踐經(jīng)驗的積累結(jié)果，因時間倉促，書中難免存在不妥之處，歡迎讀者指正，請發(fā)郵件至CloudSched@gmail.com。
編 者
2013年11月
理論切實聯(lián)系實踐，具有新意，很有參考價值。
封面被撕破了一點
書沒什么問題，物流服務差勁，很不滿意。
對我的專業(yè)方面幫助不大，但是也不錯的書
幫公司買的
內(nèi)容還沒有看完，挺不錯，對云數(shù)據(jù)感興趣的朋友，可以入手一本。
