Hadoop 2.X HDFS源码剖析

资源名称：Hadoop 2.X HDFS源码剖析

内容简介：

《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础，深入剖析了HDFS 2.X中各个模块的实现细节，包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章，其中第1章从总体上介绍了HDFS的组件、概念以及典型的流程，同时详细介绍了HDFS各个组件间RPC接口的定义。第2章介绍了Hadoop RPC框架的实现，Hadoop RPC是HDFS各个组件间通信所依赖的底层框架，可以理解为HDFS的神经系统。第3~5章分别介绍了Namenode、Datanode以及HDFS客户端这三个组件的实现细节，同时穿插介绍了HDFS 2.X的新特性，例如Namenode HA、Federation Namenode等。

阅读《Hadoop 2.X HDFS源码剖析》可以帮助读者从架构设计与源码实现角度了解HDFS 2.X，同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧以及编程规范等。这些对于读者全面提高自己的技术水平有很大的帮助。

资源目录：

第1章 HDFS1

1.1 HDFS概述1

1.1.1 HDFS体系结构1

1.1.2 HDFS基本概念2

1.2 HDFS通信协议4

1.2.1 Hadoop RPC接口4

1.2.2 流式接口20

1.3 HDFS主要流程22

1.3.1 HDFS客户端读流程22

1.3.2 HDFS客户端写流程24

1.3.3 HDFS客户端追加写流程25

1.3.4 Datanode启动、心跳以及执行名字节点指令流程26

1.3.5 HA切换流程27

第2章 Hadoop RPC29

2.1 概述29

2.1.1 RPC框架概述29

2.1.2 Hadoop RPC框架概述30

2.2 Hadoop RPC的使用36

2.2.1 Hadoop RPC使用概述36

2.2.2 定义RPC协议40

2.2.3 客户端获取Proxy对象45

2.2.4 服务器获取Server对象54

2.3 Hadoop RPC实现63

2.3.1 RPC类实现63

2.3.2 Client类实现64

2.3.3 Server类实现76

第3章 Namenode（名字节点）88

3.1 文件系统目录树88

3.1.1 INode相关类89

3.1.2 Feature相关类102

3.1.3 FSEditLog类117

3.1.4 FSImage类138

3.1.5 FSDirectory类158

3.2 数据块管理162

3.2.1 Block、Replica、BlocksMap162

3.2.2 数据块副本状态167

3.2.3 BlockManager类（done）177

3.3 数据节点管理211

3.3.1 DatanodeDeｓｃｒｉｐｔor212

3.3.2 DatanodeStorageInfo214

3.3.3 DatanodeManager217

3.4 租约管理233

3.4.1 LeaseManager.Lease233

3.4.2 LeaseManager234

3.5 缓存管理246

3.5.1 缓存概念247

3.5.2 缓存管理命令247

3.5.3 HDFS集中式缓存架构247

3.5.4 CacheManager类实现248

3.5.5 CacheReplicationMonitor250

3.6 ClientProtocol实现251

3.6.1 创建文件251

3.6.2 追加写文件254

3.6.3 创建新的数据块257

3.6.4 放弃数据块265

3.6.5 关闭文件266

3.7 Namenode的启动和停止268

3.7.1 安全模式268

3.7.2 HDFS High Availability276

3.7.3 名字节点的启动301

3.7.4 名字节点的停止306

第4章 Datanode（数据节点）307

4.1 Datanode逻辑结构307

4.1.1 HDFS 1.X架构307

4.1.2 HDFS Federation308

4.1.3 Datanode逻辑结构310

4.2 Datanode存储312

4.2.1 Datanode升级机制312

4.2.2 Datanode磁盘存储结构315

4.2.3 DataStorage实现317

4.3 文件系统数据集334

4.3.1 Datanode上数据块副本的状态335

4.3.2 BlockPoolSlice实现335

4.3.3 FsVolumeImpl实现342

4.3.4 FsVolumeList实现345

4.3.5 FsDatasetImpl实现348

4.4 BlockPoolManager375

4.4.1 BPServiceActor实现376

4.4.2 BPOfferService实现389

4.4.3 BlockPoolManager实现396

4.5 流式接口398

4.5.1 DataTransferProtocol定义398

4.5.2 Sender和Receiver399

4.5.3 DataXceiverServer403

4.5.4 DataXceiver406

4.5.5 读数据408

4.5.6 写数据（done）423

4.5.7 数据块替换、数据块拷贝和读数据块校验437

4.5.8 短路读操作437

4.6 数据块扫描器437

4.6.1 DataBlockScanner实现438

4.6.2 BlockPoolSliceScanner实现439

4.7 DirectoryScanner442

4.8 DataNode类的实现443

4.8.1 DataNode的启动444

4.8.2 DataNode的关闭446

第5章 HDFS客户端447

5.1 DFSClient实现447

5.1.1 构造方法448

5.1.2 关闭方法449

5.1.3 文件系统管理与配置方法450

5.1.4 HDFS文件与目录操作方法451

5.1.5 HDFS文件读写方法452

5.2 文件读操作与输入流452

5.2.1 打开文件452

5.2.2 读操作——DFSInputStream实现461

5.3 文件短路读操作481

5.3.1 短路读共享内存482

5.3.2 DataTransferProtocol484

5.3.3 DFSClient短路读操作流程488

5.3.4 Datanode短路读操作流程509

5.4 文件写操作与输出流512

5.4.1 创建文件512

5.4.2 写操作——DFSOutputStream实现516

5.4.3 追加写操作543

5.4.4 租约相关546

5.4.5 关闭输出流548

5.5 HDFS常用工具549

5.5.1 FsShell实现550

5.5.2 DFSAdmin实现552

资源截图：