云计算解密:技术原理及应用实践

内容简介

作者根据多年从事云计算学术研究和项目实施经历，从分布式计算的角度出发，深入浅出地对云计算的基本概念、云计算的核心实现技术及作者所在研究小组关于云计算的学术研究成果进行阐述。　
　　本书分为三大部分：第一部分为理论篇，主要介绍分布式计算及云计算理论方面的知识；第二部分为技术篇，重点介绍云数据中心的节能技术及作业调度策略，并深入剖析MapReduce框架存在的性能问题及其优化方法；第三部分为实践篇，以PageRank算法和DNA序列拼接算法的实现为例，讲述如何使用云计算解决实际问题，并以图计算框架Hama为例，阐述对开源云计算项目的性能进行评价的方法。附录中介绍了如何搭建云计算研发环境。　

目录

理论篇
第1章绪论
1.1计算模式演化
1.1.1集中式计算模式
1.1.2桌面计算模式
1.1.3分布式计算模式
1.2分布式计算
1.2.1分布式计算概述
1.2.2分布式计算结构
1.2.3典型分布式计算技术
1.3云计算
1.3.1云计算的产生背景
1.3.2云计算概述
1.3.3云计算与网格计算
1.4云计算的关键技术
1.4.1虚拟化
1.4.2资源管理与调度
1.4.3文件系统
1.4.4数据存储
1.4.5云安全
1.4.6编程模式
1.4.7能耗管理
1.5典型云计算平台
1.5.1Google云计算平台
1.5.2Amazon云计算
1.5.3IBM的蓝云平台
1.5.4Microsoft云计算
1.5.5开源云计算平台
参考文献
第2章并行计算编程模型
2.1并行编程模型概述
2.1.1共享存储编程模型
2.1.2消息传递模型
2.1.3分布并行编程模型
2.2并行编程模型MapReduce
2.2.1MapReduce概述
2.2.2MapReduce编程模型
2.2.3MapReduce的主要设计思想
2.2.4MapReduce执行流程
2.2.5MapReduce的核心技术
2.2.6MapReduce技术研究
2.3集群上的MapReduce实现--Hadoop
2.3.1Hadoop项目简介
2.3.2Hadoop与Google
2.3.3MapReduce运行机制
2.3.4MapReduce执行流程
2.3.5MapReduce的核心技术
2.3.6HadoopYARN简介
2.3.7典型案例剖析
2.3.8MapReduce新旧API比较
2.4MapReduce模型的其他实现
2.4.1多核上的MapReduce实现
2.4.2GPU上的MapReduce实现
参考文献
第3章分布式文件系统
3.1概述
3.1.1什么是分布式文件系统
3.1.2分布式文件系统的发展历史
3.1.3分布式文件系统的体系结构
3.1.4分布式文件系统的关键技术
3.2GFS文件系统
3.2.1GFS的设计原则
3.2.2GFS体系结构
3.2.3GFS工作流程
3.3HDFS分布式文件系统
3.3.1HDFS的设计目标
3.3.2HDFS体系结构
3.3.3HDFS故障处理
3.3.4副本管理
3.3.5HDFS工作流程
3.3.6HDFS与GFS
3.3.7HDFS联盟介绍
3.4分布式锁服务Chubby
3.4.1一致性问题
3.4.2Paxos算法简介
3.4.3Chubby概述
3.4.4Chubby架构
3.5分布式应用协调器Zookeeper
3.5.1Zookeeper概述
3.5.2Zookeeper的数据结构
3.5.3Zookeeper架构
3.5.4Zookeeper的工作原理
3.5.5Zookeeper应用场景
3.6云存储
3.6.1概述
3.6.2云存储的分类
3.6.3云存储的结构模型
3.6.4典型云存储系统
参考文献
第4章分布式数据存储系统
4.1概述
4.2NoSQL数据库简介
4.2.1NoSQL的起源与发展
4.2.2NoSQL概述
4.2.3NoSQL系统架构
4.2.4NoSQL的数据模型
4.2.5NoSQL的理论基础
4.2.6NoSQL数据库体系结构
4.2.7NoSQL与SQL的比较
4.3面向列存储系统BigTable
4.3.1概述
4.3.2数据模型
4.3.3系统架构
4.4面向列存储系统Hbase
4.4.1Hbase概述
4.4.2Hbase的数据模型
4.4.3Hbase架构及实现
4.4.4Hbase与BigTable的比较
参考文献
技术篇
第5章云数据中心节能技术
5.1数据中心概述
5.1.1数据中心发展历史
5.1.2数据中心网络结构
5.1.3云数据中心
5.2云数据中心节能技术
5.2.1硬件设施
5.2.2系统架构
5.2.3软件方式
5.2.4数据中心的能耗模型
5.3网络感知节能调度算法DENS
5.3.1DENS算法原理
5.3.2DENS算法实现
5.3.3改进的DENS算法
5.4基于超图的存储优化节能算法
5.4.1问题提出
5.4.2CS方法
5.4.3基于超图的副本存储优化节能算法
5.4.4作业静态分配算法
5.4.5动态副本迁移算法的相关分析
5.4.6异构集群能效分析
5.4.7

摘要与插图

前言
　　云计算是当今计算机科学门的研究领域之一，它能使许多技术人员开始从单机工作模式向并行计算模式转变。作者以所在研究小组的多年云计算研究工作成果为核心，结合云计算技术发展，编写了这部著作。
　　本书全面、系统地介绍了云计算的基本概念、实现原理及其若干关键技术，结合作者所在研究小组的研究成果，阐述了采用云计算解决实际问题的方法。全书包括10章和3个附录。
　　第一部分为理论篇（1～4章），着重介绍并行计算编程模型（包括Google公司的MapReduce和Apache的MapReduce）、分布式文件系统（主要包括HDFS和GFS）、分布式数据存储系统（主要包括Hbase和BigTable）等云计算核心组件的内部实现细节。
　　第二部分为技术篇（第5～7章），主要讲解HadoopMapReduce中的一些特性和未来发展趋势，包括云数据中心的节能技术、作业调度机制和HadoopMapReduce框架的性能优化。
　　第三部分为实践篇（第8～10章），重点阐述采用MapReduce框架实现PageRank算法的方法、云计算在DNA序列拼接中的应用及对图计算框架Hama的性能进行评价的方法。
　　另外，本书给出了三个附录：附录A重点介绍云仿真器CloudSimd的体系结构、部分核心类、软件安装及仿真步骤等内容，附录B介绍了实施Hama性能评价的实验开发环境搭建，附录C主要对Hadoop的分布式运行模式的环境搭建进行了阐述。
　　本书是作者所在研究小组多年研究工作的总结，由徐保民主笔。在此，感谢曾经参加与云计算研究有关的所有人员，主要包括：马红颜、齐伟、甘兴龙、赵春燕、云希姚、高勋、胡恩召、高进、张海园、延娜、王云峰、黄鹏、谢其扬、辛霆麟、、宏亮、何颖、兑璐、戴昕、牛品菽、李春燕。此外，还要感谢美国中佛罗里达大学的DanC.Marinescu教授、波兰科学院系统研究所的MarcinPaprzycki教授以及国内诸多同行和朋友们长期的大力支持和帮助。
　　本书的出版得到了电子工业出版社董亚峰老师和北京交通大学计算机与信息技术学院的大力支持，在此一并表示深深的谢意。
　　由于云计算技术比较前沿、云计算领域发展比较快，加之作者水平所限，难免会存在很多不足和错误，恳请各位读者不吝赐教。作者的电子邮箱为xubaomin@gmail.com。
　　作者
　　2014年1月