hadoop的全分布式环境搭建
今天来分享下hadoop的全分布式环境搭建。Hadoop的全分布式的搭建基于伪分布式的基础上进行搭建，所以，在这里有一个要求就是必须先把hadoop的伪分布式环境搭建成功！（如果同学能力强，可以直接搭全分布式集群哦！）
这里介绍hadoop的全分布式集群主要有两种方式搭建：
一、修改完配置文件再进行节点克隆
具体步骤如下：第一步：修改映射文件，编辑 /etc/hosts文件，预先设计三台从节点的IP和主机名，具体如下，可以根据自己的喜好设置IP地址和主机名192.168.100.110 master[这是做伪分布式时配置好的]192.168.100.111 slave01192.168.100.112 slave02192.168.100.113 slave03第二步：进入hadoopd 的安装目录下的/etc/hadoop/下，修改slaves文件，添加三台从节点的主机名slave01slave02slave03第三步：修改hdfs-site.xml文件，将副本数改为3份第四步：删除伪分布式初始化的数据文件，就是$HADOOP_HOME/hadoop_tmp/下的所有文件，将该目录下的文件删除。第五步：删除网卡绑定信息文件,进入/etc/udev/rules.d/目录下，删除70-persistent-net.rules第六步：克隆，关闭虚拟机后，选中要克隆的虚拟机，右击—>管理-->克隆—>下一步—>下一步-->创建完整克隆—>改主机名和设置克隆位置，然后点击完成第七步：修改第一台从节点的IP地址以及主机名、重启虚拟机第八步：修改第二台从节点的IP地址以及主机名、重启虚拟机第九步：修改第三台从节点的IP地址以及主机名、重启虚拟机第十步：ping各个节点的主机名，确保节点之间连接通畅以及免密是否成功 [注意：免密登录在之前的基础上复制公钥即可，ssh-copy-id slav01(slave02、slave03)]第十一步：初始化整个集群：hadoop namenode -format第十二步：启动集群start-all.sh集群启动好之后主节点上：NameNode、ResourceManger、SecondaryNamendoe 3台从节点上：DataNode NodeManager第十三步：web页面访问打开火狐浏览器，在地址栏输入http://192.168.100.110:50070[这是hdfs的访问地址] 重新打开页面输入http://192.168.100.110:8088[这是yarn的访问地址]
二、克隆之后再修改配置文件
第一步：克隆，关闭虚拟机后，选中要克隆的虚拟机，右击—>管理-->克隆—>下一步—>下一步-->创建完整克隆—>改主机名和设置克隆位置，然后点击完成[克隆出三个从节点之后，就可以修改配置文件了]第二步：修改映射文件，编辑 etc/hosts文件，预先设计三台从节点的IP和主机名，具体如下，可以根据自己的喜好设置IP地址和主机名192.168.100.110 master[这是做伪分布式时配置好的]192.168.100.111 slave01192.168.100.112 slave02192.168.100.113 slave03第三步：进入hadoopd安装目录下的/etc/hadoop/下，修改slaves文件，添加三台从节点的主机名slave01slave02slave03第四步：修改hdfs-site.xml文件，将副本数改为3份第五步：删除伪分布式初始化的数据文件，就是$HADOOP_HOME/hadoop_tmp/下的所有文件，将该目录下的文件删除。第六步：删除网卡绑定信息文件,进入/etc/udev/rules.d/目录下，删除70-persistent-net.rules第七步：修改第一台从节点的IP地址以及主机名、重启虚拟机第八步：修改第二台从节点的IP地址以及主机名、重启虚拟机第九步：修改第三台从节点的IP地址以及主机名、重启虚拟机第十步：ping各个节点的主机名，确保节点之间连接通畅以及免密是否成功 [注意：免密登录在之前的基础上复制公钥即可，ssh-copy-id slav01(slave02、slave03)]第十一步：初始化整个集群：hadoop namenode -format第十二步：启动集群start-all.sh集群启动好之后主节点上：NameNode、ResourceManger、SecondaryNamendoe 3台从节点上：DataNode NodeManager第十三步：web页面访问打开火狐浏览器，在地址栏输入http://192.168.100.110:50070[这是hdfs的访问地址] 重新打开页面输入http://192.168.100.110:8088[这是yarn的访问地址]
温馨提示：根据个人经验，操作第一种方式更加方便快捷
{:6_290:} {:6_290:}
页:
[1]