13518219792
小编给大家分享一下Hadoop2.4.1分布式安装的示例分析，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！
“专业、务实、高效、创新、把客户的事当成自己的事”是我们每一个人一直以来坚持追求的企业文化。 创新互联建站是您可以信赖的网站建设服务商、专业的互联网服务提供商! 专注于成都网站设计、做网站、成都外贸网站建设公司、软件开发、设计服务业务。我们始终坚持以客户需求为导向，结合用户体验与视觉传达，提供有针对性的项目解决方案，提供专业性的建议，创新互联建站将不断地超越自我，追逐市场，引领市场！
1、做好下文中的所有配置：Hadoop1.2.1分布式安装-1-准备篇。
2、Hadoop2.x的发行版中有个小问题：libhadoop.so.1.0.0在64位OS中存在问题，因为它是32位的，在64位OS中hadoop启动时会报一个WARN的日志。这个包的作用是调用native的api，可以提高hadoop的性能，如果这个包失效，那就是使用jvm做压缩等工作，效率就会很低。处理方法就是重新编译Hadoop，见xxx（link article）。
3、在打算做namenode的机器上，wget或其他方式下载hadoop的压缩包，并解压到本地指定目录。下载解压命令参考Linux常用命令。
4、各种配置文件和hadoop1会有所不同，共有七个文件，以下分别描述。
/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}/hadoop-2.4.1/etc/hadoop/yarn-env.sh
# some Java parameters # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ if [ "$JAVA_HOME" != "" ]; then #echo "run java in $JAVA_HOME" JAVA_HOME=$JAVA_HOME fi if [ "$JAVA_HOME" = "" ]; then echo "Error: JAVA_HOME is not set." exit 1 fi JAVA=$JAVA_HOME/bin/java JAVA_HEAP_MAX=-Xmx512m #默认的heap_max是1000m，我的虚拟机没这么大内存，所以改小了
/hadoop-2.4.1/etc/hadoop/slaves
#写入你slave的节点。如果是多个就每行一个，写入host名 bd24 bd25
/hadoop-2.4.1/etc/hadoop/core-site.xml
fs.defaultFS hdfs://bd23:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/wukong/a_usr/hadoop-2.4.1/tmp Abase for other temporary directories. hadoop.proxyuser.hduser.hosts *hadoop.proxyuser.hduser.groups*
hdfs-site.xml
dfs.namenode.secondary.http-address bd23:9001 dfs.namenode.name.dir file:/home/wukong/a_usr/hadoop-2.4.1/name dfs.datanode.data.dir file:/home/wukong/a_usr/hadoop-2.4.1/data dfs.replication 1 dfs.webhdfs.enabled true
mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address bd23:10020 mapreduce.jobhistory.webapp.address bd23.19888
yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address bd23:8032 yarn.resourcemanager.scheduler.address bd23:8030 yarn.resourcemanager.resource-tracker.address bd23:8031 yarn.resourcemanager.admin.address bd23:8033 yarn.resourcemanager.webapp.address bd23:8088
3、将hadoop目录拷贝到所有主机。远程拷贝的方法见Linux常用命令
4、格式化
[wukong@bd23 hadoop-2.4.1]$ ./bin/hdfs namenode -format
看到如下输出就证明成功了
14/07/31 13:58:30 INFO common.Storage: Storage directory /home/wukong/a_usr/hadoop-2.4.1/name has been successfully formatted.
5、启动dfs
[wukong@bd23 hadoop-2.4.1]$ ./sbin/start-dfs.sh
看到如下输出就证明成功了
Starting namenodes on [bd23] bd23: starting namenode, logging to /home/wukong/a_usr/hadoop-2.4.1/logs/hadoop-wukong-namenode-bd23.out bd24: starting datanode, logging to /home/wukong/a_usr/hadoop-2.4.1/logs/hadoop-wukong-datanode-bd24.out bd25: starting datanode, logging to /home/wukong/a_usr/hadoop-2.4.1/logs/hadoop-wukong-datanode-bd25.out Starting secondary namenodes [bd23] bd23: starting secondarynamenode, logging to /home/wukong/a_usr/hadoop-2.4.1/logs/hadoop-wukong-secondarynamenode-bd23.out
6、使用jps查看机器启动的进程情况。正常情况下master上应该有namenode和sencondarynamenode。slave上有datanode。
7、启动yarn。使用脚本
[wukong@bd23 hadoop-2.4.1]$ ./sbin/start-yarn.sh
8、使用jps查看进程情况。master上应该有namenode, sencondarynamenode, ResourceManager，slave上应该有datanode, nodeManager。
补充说明：
1、hadoop2中使用start-all.sh的时候，会提示脚本已过期，请使用start-dfs.sh。但是还是会启动起来hdfs和yarn。
2、一张值得注意的图
看完了这篇文章，相信你对“Hadoop2.4.1分布式安装的示例分析”有了一定的了解，如果想了解更多相关知识，欢迎关注创新互联行业资讯频道，感谢各位的阅读！
