13518219792
网站建设资讯

NEWS

网站建设资讯

大数据平台CDH搭建

一、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

子长网站制作公司哪家好，找创新互联！从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设等网站项目制作，到程序开发，运营维护。创新互联成立与2013年到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联。

二、安装部署

序号IP地址主机名系统版本
1 172.20.2.222 cm-server centos7.3
2 172.20.2.203 hadoop-1 centos7.3
3 172.20.2.204 hadoop-2 centos7.3
4 172.20.2.205 hadoop-3 centos7.3

2.2.1 基础环境部署

a.修改主机名配置hosts

systemctl stop firewalld
hostnamectl set-hostname  cm-server   #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<

b.配置cm-server免密钥登录其他节点

ssh-keygen -t rsa     #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done

c.在cm-server安装数据库
在cm-server上安装mariadb，用于后期数据存储

yum install mariadb*
systemctl start mariadb
MySQL -uroot password "mysqladmin"
登录数据库后我们采用root登录

e.java环境配置
如果系统有安装java环境卸载干净使用oracle的jdk，此处使用jdk-7u80-linux-x64.rpm,在各节点均配置java环境

rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<

f.配置各节点服务器需求

sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.2.2 Cloudera Manager安装

a.下载解压相关软件包

mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz 
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh6/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/   #解压cm包
unzip mysql-connector-java-5.1.46.zip  #解压java-mysql连接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/    #将jar包复制到cm的lib目录下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar

b.创建用户及初始化数据库

useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm     #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server     #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password]    #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm

c.将文件将cm-server修改完成的文件分发到其他各节点

for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done

d.创建本地源

mv CDH-5.14.2-1.cdh6.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/

e.启动服务
在cm-server启动server和agent服务，在其他节点启动agent服务

/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start

2.2.2 Cloudera Manager的web界面配置

服务器均启动后，可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin
大数据平台CDH搭建
大数据平台CDH搭建
接受协议继续
大数据平台CDH搭建
可以选择适用60天
大数据平台CDH搭建
提示一些涉及许可证的信息
大数据平台CDH搭建
勾选管理的主机继续操作
大数据平台CDH搭建

选择CDH-5.14版本
大数据平台CDH搭建
parcel安装
大数据平台CDH搭建
主机正确性检查
大数据平台CDH搭建
群集设置（选择安装的服务）
大数据平台CDH搭建
自定义角色分配，选择安装在那个节点上
大数据平台CDH搭建
数据库设置
需要提前创建数据库及授权其他节点可以正常连接
大数据平台CDH搭建
大数据平台CDH搭建
审核更改
大数据平台CDH搭建
集群安装
大数据平台CDH搭建

完成安装
大数据平台CDH搭建
大数据平台CDH搭建
后期可添加服务
大数据平台CDH搭建
大数据平台CDH搭建


当前标题：大数据平台CDH搭建
网页网址：http://cdweb.net/article/ggpjhh.html

其他资讯