yu789000 发表于 2018-4-9 10:21:57

Python大数据应用——部署Hadoop

Python大数据应用简介简介：目前业界主流存储与分析平台以Hadoop为主的开源生态圈，MapReduce作为Hadoop的数据集的并行运算模型，除了提供Java编写MapReduce任务外，还兼容了Streaming方式，可以使用任意脚本语言来编写MapReduce任务，优点是开发简单且灵活。Hadoop环境部署1、部署Hadoop需要Master访问所有Slave主机实现无密码登陆，即配置账号公钥认证。2、Master主机安装JDK环境http://5b0988e595225.cdn.sohucs.com/images/20180409/d6e295b7f05043d995ba8d9b6bb522a9.png3、Master主机安装Hadoop3.1、下载Hadoop,解压到/usr/local目录下3.2、修改hadoop-env.sh中java环境变量http://5b0988e595225.cdn.sohucs.com/images/20180409/2d7256bb3a5b4ac389898eb1d3f1ad52.png3.3、修改core-site.xml(Hadoop core的配置文件)http://5b0988e595225.cdn.sohucs.com/images/20180409/f38faedca7e4400daefd55e93dbc05e4.png3.4、修改hdfs-site.xml（Hadoop的HDFS组件的配置项）http://5b0988e595225.cdn.sohucs.com/images/20180409/f30e384f6b2847408f12e6d274c1170f.png3.5、修改mapred-site.xml(配置map-reduce组件的属性，包括jobtracker和tasktracker)http://5b0988e595225.cdn.sohucs.com/images/20180409/f898bc231d1d43baaf3dae1a4c749c41.png3.6、修改masters，slaves配置文件masters文件http://5b0988e595225.cdn.sohucs.com/images/20180409/8d0cc81a66b443e4a18c996fafe1968f.pngslaves文件http://5b0988e595225.cdn.sohucs.com/images/20180409/e485eff90f38405c86d13ab13d0d4f29.png4、Slave主机配置4.1、配置和Master主机一样的JDK环境，目标路径保持一致4.2、将Master主机配置好的hadoop环境复制到Slave主机上5、配置防火墙master主机http://5b0988e595225.cdn.sohucs.com/images/20180409/efafe85540d149ae968de781b00a5e29.pngSlave主机http://5b0988e595225.cdn.sohucs.com/images/20180409/f3373e7c43f446f988be049efac29822.png6、检验结果6.1、在Master主机上执行启动命令(在安装目录底下)http://5b0988e595225.cdn.sohucs.com/images/20180409/33a50b577c00446fb4abb0b2c741b484.png所示结果如下，表示启动成功https://5b0988e595225.cdn.sohucs.com/images/20180409/77bda0a1b72443c98a6c6f7ec9fed96d.png6.2、在Master主机上测试MapReduce示例http://5b0988e595225.cdn.sohucs.com/images/20180409/6c7a21f9a74240ddb29e3dacfed80d76.png所示结果如下，表示配置成功https://5b0988e595225.cdn.sohucs.com/images/20180409/d42ddfb8393b4ac0a98185a6993ab188.png7、补充：访问Hadoop提供的管理页面Map/Reduce管理地址：192.168.1.1:50030https://5b0988e595225.cdn.sohucs.com/images/20180409/589777dd0b304651abc7104ee5654250.pngHDFS管理地址：192.168.1.1:50070https://5b0988e595225.cdn.sohucs.com/images/20180409/ab6a284d17e44aeb9f6c03d071614f01.png来源：51CTO博客作者：系统运维工程成长之路学校：誉天教育QQ：3200569443微信：13487088610

MFK3 发表于 2018-4-9 10:25:11

{:6_264:}

Rockyw 发表于 2018-4-9 11:14:00

感谢楼主分享！

francisfan 发表于 2019-3-7 17:43:10

謝謝~~
页: [1]
查看完整版本: Python大数据应用——部署Hadoop