网站建设资讯

NEWS

网站建设资讯

启动hadoop时的提示信息是什么意思

这篇文章主要介绍了启动hadoop时的提示信息是什么意思,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

在阿尔山等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站设计制作、网站设计 网站设计制作按需设计,公司网站建设,企业网站建设,品牌网站建设,成都全网营销推广,成都外贸网站建设,阿尔山网站建设费用合理。

#启动hadoop分布式系统(在namenode上运行)
start-dfs.sh 
#输入信息如下:

1。下面这句说明了当前这个命令的功能:启动namenode

Starting namenodes on [namenode.hadoop.ymxx]

2。namenode反馈启动信息,并告诉启动namenode的日志文件存放在哪里

    out改成log即是对应的日志文件,冒号 : 前面是目标节点(IP或者机器名),冒号 : 后面是目标节点的反馈信息

namenode.hadoop.ymxx: starting namenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-namenode-namenode.hadoop.ymxx.out

3。datanode反馈启动信息,同样告诉启动datanode的日志存放在datanode节点上的哪个目录下(我这里配置了四个datanode节点)

    datanode4nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode4nodemanager.hadoop.ymxx.out
    datanodenodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanodenodemanager.hadoop.ymxx.out
    datanode2nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode2nodemanager.hadoop.ymxx.out
    datanode3nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode3nodemanager.hadoop.ymxx.out

4。启动secondary namenode

Starting secondary namenodes [secondarynamenode.hadoop.ymxx]

5。seconary namenode反馈启动信息,并告知日志信息

secondarynamenode.hadoop.ymxx: starting secondarynamenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-secondarynamenode-secondarynamenode.hadoop.ymxx.out

注:

1。信息里的日志目录是目标节点上的目录,而不是namenode上的目录

2。可以通过jps命令到目标机器上查看,对应的进程有无启动(通常从启动时控制台打印的信息是看不出来有没有启动成功的,必须通过jps去查看有无相关进程)

3。如果发现没有启动,应该立即查看目标节点上的日志文件,分析启动失败的原因

4。这里说明下,网上很多搭建hadoop分布式计算平台的例子都是将NameNode和ResoureManger放在同一台机器上的,所以搭建好了之后,可以在同一台机器上运行start-dfs.sh和start-yarn.sh来启动整个分布式系统,这个做法给人一个错觉仿佛start-dfs.sh,start-yarn.sh都在NameNode上执行了就行了,事实上这是错误的理解方式,start-dfs.sh应该在NameNode所在的机器上执行,而start-yarn.sh应该在ResourceManager所在的机器上执行,这个很重要。我被这个错觉害的很惨,都怪自己没有好好的看官方文档,其实官方文档里说的很清楚:

#翻译下就是:使用下面的命令启动yarn,在被指定为资源管理器的机器上使用yarn这个用户运行
#唉,不看文档,盲目跟风活受罪啊
Start the YARN with the following command, run on the designated ResourceManager as yarn:
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

感谢你能够认真阅读完这篇文章,希望小编分享的“启动hadoop时的提示信息是什么意思”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


当前题目:启动hadoop时的提示信息是什么意思
网站路径:http://cdweb.net/article/igoocd.html