网站建设资讯

NEWS

网站建设资讯

Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群

Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(也可访问该网页查看:http://tn.51cto.com/article/562 )
所需软件:
(1)下载Hadoop2.5.1到Win7系统下,并解压缩
Hadoop2.5.1下载地址:Indexof/dist/hadoop/core/hadoop-2.5.1
http://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/

成都创新互联公司的客户来自各行各业,为了共同目标,我们在工作上密切配合,从创业型小企业到企事业单位,感谢他们对我们的要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。专业领域包括网站设计制作、做网站、电商网站开发、微信营销、系统平台开发。

Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
说明:Win7中下载的是Hadoop2.5.1,Mac中的Hadoop版本是Hadoop2.5;版本不一致,但测试的时候,结果没有错误,但有的人测试时说版本最好一样,此处可以留意下。
(2)Hadoop运行在Linux系统下的,在windows下eclipse中运行hadoop程序,要首先安装Windows下运行的支持插件hadoop2.2-common-bin.zip,下载地址如下:https://github.com/srccodes/hadoop-common-2.2.0-bin
说明:这里使用的是hadoop2.2-common-bin.zip,和Hadoop版本不一致,但结果没有错误且没有报异常。不配置该插件运行Hadoop会报异常:
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

(3)配置hadoop环境变量(与Java的环境配置有些相似)
windows环境变量配置:右键“我的电脑” –>属性 ->高级环境变量配置 –>高级选项卡 ->环境变量 -> 单击新建HADOOP_HOME->配置下载的Hadoop路径。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群

(4)下载hadoop-eclipse-plugin-2.2.0.jar,MyEclipse/Eclipse中开发Hadoop所需插件。下载并拷贝它到MyEclipse安装路径的如下位置;
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(5)重启MyEclipse或Eclipse会出现右侧“蓝色大象”所示图标,表示插件hadoop插件安装成功。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(6)eclipse环境配置:点击“菜单Window”-->Preference-->Hadoop Map/Reduce进行配置,如下图所示:
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(7)出现下图所示view,表示配置成功。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(8) 切换到配置文件并修改
① cd hadoop/hadoop2.5/etc/hadoop
② cat core-site.xml
配置hadoop伪分布时一般使用localhost做为namenode的标识,如图所示。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
这里需要修改成Linux的主机名或IP地址,否则windows下的Hadoop程序不能连接到Linux或者Mac中的Hadoop上进行运行,且报错。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
如图所示,表示连接失败:
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
说明:如果使用主机名进行连接,需要配置主机名到IP的映射。
如图所示:
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(9)启动Mac或者Linux中的hadoop,使用jps命令观察是否运行成功。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(10)配置hdfs,新建New Hadooop location或者Edit Hadoop location
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
具体配置说明:
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(11)测试:在Mac或者Linux中查看是否能够访问到Hdfs.如下图所示:
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
上图,显示了hdfs中有一个文件。


标题名称:Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
网页路径:http://cdweb.net/article/jggdoi.html