网站建设资讯

NEWS

网站建设资讯

hadoop环境搭建及修改配置文件(第四讲)

1.设置ip

创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站设计、成都网站制作、福田网络推广、重庆小程序开发公司、福田网络营销、福田企业策划、福田品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供福田建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com

  service network restart 重启网卡生效

2.关闭防火墙(在hadoop中要使用到许多端口,为了避免麻烦之间对防火墙进行关闭)

  service iptables stop 关闭防火墙命令

  service iptables status查看防火墙状态命令

  hadoop环境搭建及修改配置文件(第四讲)

  关闭防火墙的自动运行:

      查看自动运行的设置:chkconfig --list可以显示所有的设置(防火墙iptables)

        hadoop环境搭建及修改配置文件(第四讲)

     过滤查看防火墙自动启动设置

        chkconfig --list |(竖线) grep(过滤) iptables(过滤对象)

                        管道:把左侧的输出作为右侧的输入

     将防火墙的自动启动设置全设置为off

        chkconfig iptables off

    hadoop环境搭建及修改配置文件(第四讲)

    从此后防火墙不会随着系统的重新启动自动开启了

3.设置主机名

  查看主机名命令:hostname

  修改主机名:hostname crxy(超人学院),这种方式只对当前会话生效,重启系统后还是没有修改

  修改磁盘文件彻底改变主机名:vi /etc/sysconfig/network

  重启机器后生效:reboot -h now(这儿可以不用重启系统)

  hadoop环境搭建及修改配置文件(第四讲)

4.ssh的配置操作:ssh是类似与telnet的在机器之间进行远程访问的工具,telnet是明文,ssh是加密

  ssh使用的是非对称加密,有公钥密钥的问题,如图所示中访问ip需要进行密码登录

  hadoop环境搭建及修改配置文件(第四讲)

  为了实现免密码登录,需要进行如下配置:

   ssh-keygen -t rsa(先产生密钥),多次回车后找到your public key has been saved in

/root/.ssh/id_rsa.pub(密钥生成的公钥保存在一个目录中)

   cd /root/.ssh或者cd /root/.ssh、

   cp id_rsa.pub authorized_keys(图中少了s)

   或者直接 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

hadoop环境搭建及修改配置文件(第四讲)

也可以ssh localhost(当第一次访问的时候需要输入密码,之后就不需要输入密码了)

对于ssh 主机名的问题解决(之所以出错是因为主机名依赖于域名,之所以能够在浏览器中输入主机名访问是因为绑定了域名的缘故),绑定ip地址的方法:

5.ip与hostname绑定

    vi /etc/hosts(在下一行添加192.168.42.100 crxy)(分别对于linux的ip和主机名称)

    hadoop环境搭建及修改配置文件(第四讲)

6.使用WinSCP工具软件在windows和linux之间的文件传递

  hadoop环境搭建及修改配置文件(第四讲)

  hadoop环境搭建及修改配置文件(第四讲)

传送文件:左侧找到文件,右侧打开文件,路径中修改/root为/usr/local,(其中/usr/local是自定义的安装目录,也可以自己定义),下面会话书签点击添加,之后再点击共享书签,点击添加,最后确定

hadoop环境搭建及修改配置文件(第四讲)

这样之后local目录下会有文件,我们可以全部选中,右键点击删除

然后把hadoop文件和jdk文件拖进去即可

hadoop环境搭建及修改配置文件(第四讲)

拖动完成后可以使用命令查看local下的文件

hadoop环境搭建及修改配置文件(第四讲)

7.安装jdk

  在安装jdk之前需要对权限进行修改,这样之后就能够使用tab键自动补全

  通过./jdk...进行解压

  hadoop环境搭建及修改配置文件(第四讲)

  hadoop环境搭建及修改配置文件(第四讲)

  hadoop环境搭建及修改配置文件(第四讲)  

  hadoop环境搭建及修改配置文件(第四讲)

8.安装hadoop

   解压.tar.gz格式的命令:  tar -xzvf hadoop-1.1.2.tar.gz

          x表示解压缩,z表示压缩格式,v表示显示信息,f表示文件

  hadoop环境搭建及修改配置文件(第四讲)

  hadoop环境搭建及修改配置文件(第四讲)

    配置环境变量

  hadoop环境搭建及修改配置文件(第四讲)

9.安装伪分布

  修改hadoop/conf下的几个配置文件

     1.hadoop-env.sh

     2.core-site.xml

     3.hdfs-site.xml

     4.mapred-site.xml

 a.修改hadoop-env.sh

   hadoop环境搭建及修改配置文件(第四讲)

  b.core-site.xml

    hadoop环境搭建及修改配置文件(第四讲)

 c.hdfs-site.xml

   hadoop环境搭建及修改配置文件(第四讲)

d.mapred-site.xml

   hadoop环境搭建及修改配置文件(第四讲)

   hadoop环境搭建及修改配置文件(第四讲)

这样,hadoop的配置就算完成了,剩下的工作就是启动hadoop

10.hadoop的启动

   a.在启动hadoop之前须要对hadoop文件系统进行格式化(hadoop包括存储和计算两部分,类似其他文件系统一样,当一个存储空间需要使用时须要对存储空间进行格式化)

   格式化的命令:hadoop namenode -format

   hadoop环境搭建及修改配置文件(第四讲)

 b.hadoop文件系统启动命令:

   start-all.sh

   hadoop环境搭建及修改配置文件(第四讲)

   验证:在window的命令窗口下(windows已经配置好了jdk的环境变量)运行命令jps(查看java进程的命令)就能够查看java的运行进程,如果在linux中运行jps可以查看到java进程的话表示hadoop文件系统启动成功(因为hadoop是基于java开发的)

   hadoop环境搭建及修改配置文件(第四讲)

   hadoop环境搭建及修改配置文件(第四讲)

启动时没有NameNode的可能原因:

(1)没有格式化

(2)环境变量设置错误

(3)ip与hostname绑定失败

最后,我们可以通过浏览器的方式观察hadoop启动的状态,即我们可以通过windows访问:

  在windows浏览器中输入http://192.168.42.100:50070(http://192.168.42.100:50070(li linux网址+端口号)或者直接输入192.168.42.100:50070即可(这是因为在windows中也可以ping通linux网络的原因),在linux的浏览器中也可以看到同样的效果(在linux浏览器中ip地址可以使用主机名代替,因为它们之间相互绑定了)

  hadoop环境搭建及修改配置文件(第四讲)

hadoop环境搭建及修改配置文件(第四讲)

在浏览器查看中,50070查看的是NameNode的信息,50030查看的是MapReduce的信息

hadoop环境搭建及修改配置文件(第四讲)

11.命令汇总:

 hadoop环境搭建及修改配置文件(第四讲)

  


分享名称:hadoop环境搭建及修改配置文件(第四讲)
网站网址:http://cdweb.net/article/jidpse.html