网站建设资讯

NEWS

网站建设资讯

大数据环境搭建-之-hadoop2.x分布式部署-集群配置-创新互联

1、 下载hadoop 并解压

公司专注于为企业提供做网站、网站设计、微信公众号开发、商城网站建设,微信小程序,软件按需设计网站等一站式互联网企业服务。凭借多年丰富的经验,我们会仔细了解各客户的需求而做出多方面的分析、设计、整合,为客户设计出具风格及创意性的商业解决方案,成都创新互联更提供一系列网站制作和网站推广的服务。

2、为 hadoop 文件分配角色

   chown -R hadoop:hadoop hadoop

            组名:角色名   文件名

3、ls -l 查看详细信息  角色分配是否成功

4、创建hadoop 需要的文件目录

   mkdir -p /data/dfs/name

   mkdir -p /data/dfs/data

   mkdir -p /data/tmp

5、 分配角色 权限给自己的用户目录,如hadoop用户

   chown -R hadoop:hadoop hadoop/data

 6、 ls -l 查看是否分配成功

 7、修改hadoop 配置文件

    a、 core-site.xml

    b、hdfs-site.xml

    c、mapred-site.xml

    d、slave

 8、配置hadoop 环境变量

    HADOOP_HOME=/usr/java/hadoop

    PATH=$HADOOP_HOME/bin:$PATH

    export HADOOP_HOME PATH

 9、格式化hadoop   bin/hadoop namenode -format

10 、启动hadoop   sbin/start-all.sh

11、jps  查看进程是否启动

    NodeManager

    ResourceManager

    Jps

    DataNode

    NameNode

    SecondaryNameNode

12、hdfs 创建目录

    bin/hadoop  fs -mkdir /dajiangtai

13、hdfs 的dajiangtai目录添加文件

    hadoop fs -put /usr/java/hadoop/djt.txt /dajiangtai

14、验证地址

  http://cjqlinux:8088/cluster/apps

  http://cjqlinux:50070

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享名称:大数据环境搭建-之-hadoop2.x分布式部署-集群配置-创新互联
文章网址:http://cdweb.net/article/ijhpo.html