Apache提供了两种HDFS v2 的HA方案。HA的具体实现和使用方式本文就不赘述了,可以参考以下链接:
CDH(Cloudera的Hadoop发行版)在早期的版本中只支持HA with NFS方案。自CDH4.1起,增加对HA with QJM的支持。QJM由Cloudera设计,并已经merge到Hadoop的TRUNK(HDFS-3077)。
本文旨在对比两种HA方案,为HA选型提供帮助。我们假定读者已经对HDFSv2有一定的了解,对于HDFSv1 HA了解与否并不会影响对本文的理解,因为v2的HA方案和v1的诸多HA实现有相当的差别。
首先我们来罗列两者的共同点:
- 都是热备方案
- 都是一个active Namenode(NN)和一个standby NN
- 使用Zookeeper(ZK) quorum和ZKFC来实现自动失效恢复。
- 在失效恢复时都需要配置fencing方法来fence active NN
接着,罗列参与HA的不同角色:
HDFS with NFS
- NN
- HA NFS (共享数据变更存储)
- ZK
- ZKFailoverController process
HDFS with JQM
- NN
- JournalNode
- ZK
- ZKFailoverController process
罗列两方案与HDFSv1诸多HA方案的不同点
- 大部分的HDFS v1 HA方案都是冷备,尽管也有少数v热备方案,但配置起来是不是感觉特“爽”...
- 提供例行维护的NN切换。这是v1绝大部分方案所不具备的。
罗列两方案的不同点:
共享数据方式不同。
- HA with NFS方案是共享变更的一种方案。active NN 和 standby NN需要共享一个存储目录。active NN会把数据变更日志保存在该目录内,standby NN则监视更新,并保持数据同步。为了快速切换NN,DataNode(DN)需要知道两个NN的地址,并把块信息和心跳包发送给active和standby这两个NN。此外,为了保证active NN挂了以后不再有新数据写入,Fencing逻辑在确认active NN挂了以后会切断所有与原active NN的连接。
HA with NFS存在一些限制
1. HA能力NFS方案目前只支持一个数据变更共享目录,导致HA能力受限于该目录2. 为了防止共享目录的单点失效,对共享目录有额外的要求,比如冗余的硬盘、网络和电源等。NFS共享目录所在的设备要求是高可靠性,官方推荐NAS。
3. NFS方式部署更为复杂。除了基本配置复杂外,上述第二点也够麻烦的。
相关推荐
HDFS HA和Federation安装部署方法
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件(一);任务二 修改hdfs-site.xml配置文件(二);任务二 修改hdfs-site.xml配置文件(三);...
hdfs ha设置文档
安装CentOS7-X64,选择带GUI的服务器,非管理结点也可以最小安装+开发。选择带Infiniband 支持,Hdfs高性能稳定性集群搭建
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
1.HDFS-HA工作要点 1.1.元数据管理方式需要改变 内存中各自保存一份元数据; Edits日志只有Active状态的NameNode节点可以做写操作;(备份的那个不提供写操作–编辑日志不同步) 两个NameNode都可以读取Edits; 共享的...
1.集群规划 2.解压安装 4.集群操作 1.官方地址 2.在opt目录下创建一个ha文件夹 7.拷贝配置好的hadoop环境到其他节点 1.在各个Journa
搭建手工切换HA的HDFS集群,学习大数据hadoop搭建环境的可以看下,通俗易懂
8.1 HA 概述 8.2.2 HDFS-HA 自动故障转移工作机制 8.3.1 环境准备 8.3.2 规划集群
讲解HDFS小文件处理方案方法
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
1. 集群环境的节点分布 2. 演示修改主机名 3. 演示配置 hosts 文件 4. 演示免密码登录
2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.1. 修改配置文件 2.2. 启动 JournalNode
Hadoop HA 集群搭建所需要的配置文件:core-site,hdfs-site,mapred-site,yarn-site四个xml文件和一个slaves文件
视频详细讲解,需要的小伙伴...你将通过本课程学习到,Hadoop存在的单点故障问题,解决单点故障的方案,搭建手动故障转移的HDFS-HA集群,搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。
hdfs client 精确校验ha 端口信息
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
HDFS是Hadoop分布式计算的存储基础。HDFS具有高容错性,可以部署在通用硬件设备上,适合数据密集型应用,并且提供对数据读写的高吞 吐量。HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决...
搭建自动切换HA的HDFS集群,学习大数据的同学看到这个学着搭建