深入云计算：Hadoop源代码分析（目本Hadoop源代码分析图书，融入作者多年经验，以飨读者）

内容简介

《深入云计算：Hadoop源代码分析》是一本全面细致的介绍和分析Hadoop源码和内部工作机理的的一本技术书籍。《深入云计算：Hadoop源代码分析》通过对Hadoop内部源码详细细致的解析，使得读者能够快速的理解Hadoop的内部工作机制，了解Hadoop内部源码架构，快速的上手Hadoop，对Hadoop有深刻的认识。同时是国内第一本详细介绍Hadoop源码的书籍。

目录

第1篇 Hadoop概述与安装
　第1章 Hadoop的简介和安装
　　1.1 Hadoop的简介
　　　1.1.1 分布式文件系统HDFS
　　　1.1.2 并行计算模型MapReduce
　　1.2 Hadoop的安装
　　　1.2.1 虚拟机以及Ubuntu的安装
　　　1.2.2 创建Hadoop用户
　　　1.2.3 JDK1.6的安装
　　　1.2.4 SSH的配置
　　　1.2.5 单机模式下Hadoop的安装
　　　1.2.6 伪分布式模式下Hadoop的安装
　　　1.2.7 分布式模式下Hadoop的安装
第2篇 HDFS分布式文件系统及IO模型
　第2章 HDFS架构和分布式文件系统
　　2.1 分布式文件系统概述
　　2.2 HDFS的特点
　　2.3 HDFS文件系统架构
　　2.4 Hadoop的抽象文件系统模型
　　　2.4.1 FileSystem抽象文件系统
　　　2.4.2 FileStatus文件状态信息
　　　2.4.3 FsPermission文件或目录的操作权限
　　　2.4.4 FileSystem的实现类
　　　2.4.5 FileSystem的输入流
　　　2.4.6 FileSystem的输出流
　　2.5 小结
　第3章 Hadoop分布式文件系统HDFS的具体实现
　　3.1 DistributedFileSystem分布式文件系?
　　3.2 DFSClient HDFS客户端
　　3.3 小结
　第4章 NameNode的实现
　　4.1 INode抽象类
　　4.2 INodeDirectory目录
　　4.3 INodeFile文件
　　4.4 FSDirectory文件系统目录
　　4.5 FSEditLog文件系统的编辑日志
　　4.6 FSImage文件系统镜像
　　4.7 Host2NodesMap主机到DataNode的映射
　　4.8 NetworkTopology网络拓扑结构
　　4.9 HostsFileReader主机文件读取器
　　4.10 BlocksMap 数据块到其元数据的映射
　　4.11 FSNamesystem HDFS文件系统的命名空间
　　4.12 NameNode名称结点
　　4.13 小结
　第5章 Datanode的实现
　　5.1 Block数据块
　　5.2 DatanodeID类
　　5.3 DatanodeInfo类
　　5.4 BlockSender数据块发送器
　　5.5 BlockReceiver数据块接收器
　　5.6 DataBlockScanner数据块扫描器
　　5.7 FSDataset Datanode数据集合
　　5.8 DataXceiverServer
　　5.9 DataXceiver
　　5.10 Datanode类
　　5.11 小结
　第6章 Hadoop的IO
　　6.1 数据类型接口
　　　6.1.1 Writable接口
　　　6.1.2 Comparable接口
　　　6.1.3 WritableComparable接口
　　　6.1.4 RawComparator比较器接口
　　　6.1.5 WritableComparator接口
　　6.2 基本数据类型
　　　6.2.1 IntWritable整型类型
　　　6.2.2 Text文本类型
　　　6.2.3 NullWritable类
　　　6.2.4 ObjectWritable类
　　6.3 文件类型
　　　6.3.1 SequenceFile序列文件
　　　6.3.2 MapFile映射文件
　　6.4 小结
第3篇 MapReduce计算框架及RPC通信模型
　第7章 MapReduce的输入和输出
　　7.1 输入格式InputFormat
　　　7.1.1 InputFormat抽象类
　　　7.1.2 FileInputFormat文件输入格式
　　　7.1.3 TextInputFormat文本文件输入格式
　　　7.1.4 KeyValueTextInputFormat键值对文件输入格式
　　　7.1.5 CombineFileInputFormat组合文件输入格式
　　　7.1.6 SequenceFileInputFormat序列文件输入格式
　　　7.1.7 DBInputFormat数据库输入格式
　　　7.1.8 MultipleInputs多种输入格式
　　　7.1.9 DelegatingInputFormat授权输入格式
　　7.2 输入分片InputSplit
　　　7.2.1 FileSplit文件输入分片
　　　7.2.2 CombineFileSplit多文件输入分片
　　　7.2.3 DBInputSplit数据库输入分片<

摘要与插图

在如今的数字时代，以电子方式存储的数据总量是巨大的。据资料显示，2006年的数据总量为0.18
ZB，在2011年数据总量则达到1.8
ZB。而且数据的增长速度还在不断加快，人们已经面临着需要快速处理大量数据的问题。
想象一下，如果的网页都存储在你的计算机中，你要搜索其中一些网页出来，命令一旦发布，那么你的计算机要多久才能完成搜索任务？可是Google只需要不到一秒钟就能完成，这是因为Google把这些网页同时分布在不同的计算机上，每台计算机只搜索自己的这部分，一个命令，同时有多台计算机在执行，但是给我们的感觉是在使用一台计算机而已。Hadoop就是模仿Google核心技术而衍生的分布式计算机系统框架。
　　Hadoop是由Apache Software
Foundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入的。它受到由Google
Lab开发的Map/Reduce计算模型和Google File
System（GFS）分布式文件系统的启发。2006年3月份，Map/Reduce和Nutch Distributed File
System（NDFS）分别被纳入称为Hadoop的项目中。
　　Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop因具有高可靠性、高扩展性、性和高容错性等特性而深受广大用户的欢迎，并且迅速在大数据处理领域占领了一席之地。
　　编者从事Hadoop架构研究很久，对Hadoop有深入的理解。本书通过深入细致地解析Hadoop各个部分的源代码，带领读者快速地将Hadoop的结构和工作机理理解透彻，使读者在读完此书后能对Hadoop的底层工作机制有深入了解，能对开发Hadoop应用程序有质的提高。本书很大程度也是编者在学习Hadoop源码时候的笔记，这里将这些成果分享给大家。
　　本书
　　·内容全面、系统、深入
　　本书全面介绍了Hadoop各个组件的源代码，包括HDFS、MapReduce以及RPC等部分。此外，每节都配有详细的UML模型图和流程图，以便读者对所讲内容有更加清晰的认识。
　　· 讲解细致，适合各个层次的读者阅读
　　本书从不同的层次结构依次讲解Hadoop的源代码，并深入到其结构内部，详细讲解每个部分。内容梯度从易到难，讲解由浅入深，循序渐进，适合各个层次的读者阅读。
　　·第一本详细解析Hadoop源码的书
　　本书将Hadoop关键核心的代码一一展现给大家，做到浅显易懂，使读者能快速地对Hadoop有一个深入的理解。
　　·提供技术支持，答疑解惑
　　读者阅读本书时若有任何疑问可到网站http://www.rzchina.net
中的Hadoop相关论坛提问，以获得帮助。笔者会及时解答读者的各种问题。
　　书中的程序源代码读者可到网站http://www.tdpress.com/zyzx/tsscflwj中下载。
　　本书内容及体系结构
　　第1篇 Hadoop概述与安装（第1章）
　　本篇主要对Hadoop的组成部分进行概述，简要介绍了HDFS和MapReduce的架构以及Hadoop源代码的组织形式。此外，详细介绍了Hadoop集群的搭建步骤以及注意事项。通过本篇的学习，可以让读者对Hadoop有一个整体上的认识，明确Hadoop的地位和作用，并初步搭建起Hadoop集群环境。
　　第2篇 HDFS分布式文件系统及模型（第2～6章）
　　本篇主要是对Hadoop的HDFS及IO进行介绍，详细讲解HDFS结构和分布式文件系统、Hadoop
IO相关的各种数据类型，对HDFS的重要组件NameNode和DataNode的源码进行了细致的介绍。通过本篇的学习，读者能很好地掌握Hadoop
HDFS相关的源码知识和对Hadoop 数据类型有更深层次的了解，为后续Hadoop的开发学习打下坚实的基础。
　　第3篇 MapReduce计算框架及RPC通信模型（第7～14章）
　　本篇主要是对Hadoop的核心Ma