Hadoop2.0 HA 集群搭建步骤

2019-11-09 15:36:17

字体：大中小

来源：转载

供稿：网友

集群节点分配

Park01

Zookeeper NameNode(active) Resourcemanager (active)

Park02

Zookeeper NameNode (standby)

Park03

Zookeeper ResourceManager(standby)

Park04

DataNode NodeManager JournalNode

Park05

DataNode NodeManager JournalNode

Park06

DataNode NodeManager JournalNode

安装步骤

0.永久关闭每台机器的防火墙

执行：service iptables stop 再次执行：chkconfig iptables off

1.为每台机器配置主机名以及hosts文件

配置主机名=》执行：vim /etc/sysconfig/network =》然后执行 hostname 主机名= 》达到不重启生效目的配置hosts文件=》执行：vim /etc/hosts

示例：127.0.0.1 localhost::1 localhost192.168.234.21 hadoop01192.168.234.22 hadoop02192.168.234.23 hadoop03192.168.234.24 hadoop04192.168.234.25 hadoop05192.168.234.26 hadoop06

2.通过远程命令将配置好的hosts文件scp到其他5台节点上

执行：scp /etc/hosts hadoop02: /etc

3.为每天机器配置ssh免秘钥登录

执行：ssh-keygen ssh-copy-id root@hadoop01 （分别发送到6台节点上）

4.前三台机器安装和配置zookeeper

配置conf目录下的zoo.cfg以及创建myid文件（zookeeper集群安装具体略）

5.为每台机器安装jdk和配置jdk环境

6.为每台机器配置主机名,然后每台机器重启，（如果不重启，也可以配合： hostname hadoop01生效）

执行： vim /etc/sysconfig/network 进行编辑

7.安装和配置01节点的hadoop

配置hadoop-env.sh 配置 jdk 安装所在目录配置hadoop配置文件所在目录

8. 配置 core-site.xml

<configuration><PRoperty><name>fs.defaultFS</name><value>hdfs://ns</value></property><property><name>hadoop.tmp.dir</name><value>/home/software/hadoop-2.7.1/tmp</value></property><property><name>ha.zookeeper.quorum</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value></property></configuration>

9. 配置 01 节点的 hdfs-site.xml

配置

<configuration><property><name>dfs.nameservices</name><value>ns</value></property><property><name>dfs.ha.namenodes.ns</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.ns.nn1</name><value>hadoop01:9000</value></property><property><name>dfs.namenode.http-address.ns.nn1</name><value>hadoop01:50070</value></property><property><name>dfs.namenode.rpc-address.ns.nn2</name><value>hadoop02:9000</value></property><property><name>dfs.namenode.http-address.ns.nn2</name><value>hadoop02:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value> qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value></property><property><name>dfs.journalnode.edits.dir</name><value>/home/software/hadoop-2.7.1/journal</value></property><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><property><name>dfs.client.failover.proxy.provider.ns</name><value> org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProv ider</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><property><name>dfs.namenode.name.dir</name><value>file:///home/software/hadoop-2.7.1/tmp/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///home/software/hadoop-2.7.1/tmp/datanode</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>

10.配置mapred-site.xml

配置代码：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

11.配置yarn-site.xml

配置代码：

<configuration> <property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property>  <property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property> <property><name>yarn.resourcemanager.hostname.rm1</name><value>hadoop01</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>hadoop03</value></property><property><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.store.class</name><value> org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore </value></property> <property><name>yarn.resourcemanager.zk-address</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value><description>For multiple zk services, separate them with comma</description></property><property><name>yarn.resourcemanager.cluster-id</name><value>yarn-ha</value></property><property><name>yarn.resourcemanager.hostname</name><value>hadoop0 1 </value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

12.配置slaves文件

配置代码：

hadoop04hadoop05hadoop06

13.配置hadoop的环境变量（可不配）

java_HOME=/home/software/jdk1.8HADOOP_HOME=/home/software/hadoop-2.7.1CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_HOME PATH CLASSPATH HADOOP_HOME

14.根据配置文件，创建相关的文件夹，用来存放对应数据

在 hadoop-2.7.1 目录下创建 : ①journal目录 ②创建tmp目录 ③在tmp目录下，分别创建namenode目录和datanode目录

15.通过scp 命令，将hadoop安装目录远程copy到其他5台机器上

比如向hadoop02节点传输： scp -r hadoop-2.7.1 hadoop02:/home/software 然后把/etc/profile 发往其他5台机器，别忘了每台机器执行：source /etc/profile

Hadoop 集群启动

16.启动zookeeper集群

在 Zookeeper 安装目录的 bin 目录下执行：sh zkServer.sh start

17.格式化zookeeper

在zk的leader节点上执行： hdfs zkfc -formatZK，这个指令的作用是在zookeeper集群上生成ha节点（ns节点）注：18–24步可以用一步来替代：进入hadoop安装目录的sbin目录，执行： start-dfs.sh 。但建议还是按部就班来执行，比较可靠。

18.启动journalnode集群

在04、05、06节点上执行：切换到hadoop安装目录的sbin目录下，执行： sh hadoop-daemons.sh start journalnode 然后执行jps命令查看：

19.格式化01节点的namenode

在01节点上执行： hadoop namenode -format

20.启动01节点的namenode

在 01 节点上执行： hadoop-daemon.sh start namenode

21.把02节点的namenode节点变为standby namenode节点

在02节点上执行： hdfs namenode-bootstrapStandby

22. 启动 02 节点的 namenode 节点

在02节点上执行： hadoop-daemon.sh start namenode

23.在04,05,06节点上启动datanode节点

在 04,05,06 节点上执行：hadoop-daemon.sh start datanode

24.启动zkfc（启动FalioverControllerActive)

在01,02节点上执行： hadoop-daemon.sh start zkfc

25.在01节点上启动主Resourcemanager

在01节点上执行：start-yarn.sh 启动成功后，04,05,06节点上应该有nodemanager 的进程

26. 在 03 节点上启动副 Resoucemanager

在03节点上执行：yarn-daemon.sh start resourcemanager

27.测试

输入地址： http://192.168.234.21:50070 ，查看 namenode 的信息，是active状态的输入地址：http://192.168.234.22:50070，查看namenode的信息，是standby状态然后停掉01节点的namenode,此时返现standby的namenode变为active。

28. 查看 yarn 的管理地址

http://192.168.234.21:8088（节点01的8088端口）停掉：yarn-daemon.sh stop resourcemanager 启动： y arn-daemon.sh start resourcemanager 排错： 1.排查防火墙 2. 排查 ip ，如果不是固定 ip 的话，要看下 ip 是否被更换 3.主机名 4.hosts ip和主机名是否对应上 5. 排查 zk 的配置文件 6.排查hadoop的配置文件