网站建设资讯

NEWS

网站建设资讯

怎么在centOS7系统中安装Spark-创新互联

这篇文章给大家介绍怎么在centOS7系统中安装Spark,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

创新互联拥有十载成都网站建设工作经验,为各大企业提供成都做网站、成都网站设计服务,对于网页设计、PC网站建设(电脑版网站建设)、app软件定制开发、wap网站建设(手机版网站建设)、程序开发、网站优化(SEO优化)、微网站、空间域名等,凭借多年来在互联网的打拼,我们在互联网网站建设行业积累了很多网站制作、网站设计、网络营销经验,集策划、开发、设计、营销、管理等网站化运作于一体,具备承接各种规模类型的网站建设项目的能力。

环境说明:

        操作系统: centos7 64位 3台
        centos7-1 192.168.190.130 master
        centos7-2 192.168.190.129 slave1
        centos7-3 192.168.190.131 slave2

    安装spark需要同时安装如下内容:

    jdk  scale 

    1.安装jdk,配置jdk环境变量

    这里不讲如何安装配置jdk,自行百度。

    2.安装scala

 #tar -zxvf scala-2.13.0-M4.tgz
  再次修改/etc/profile文件,添加如下内容:
  export SCALA_HOME=$WORK_SPACE/scala-2.13.0-M4
  export PATH=$PATH:$SCALA_HOME/bin
  #source /etc/profile   // 让其立即生效
  #scala -version      //查看scala是否安装完成

    3.安装spark

       Source code: Spark 源码,需要编译才能使用,另外 Scala 2.11 需要使用源码编译才可使用

    Pre-build with user-provided Hadoop: “Hadoop free” 版,可应用到任意 Hadoop 版本
    Pre-build for Hadoop 2.7 and later: 基于 Hadoop 2.7 的预先编译版,需要与本机安装的 Hadoop 版本对应。可选的还有 Hadoop 2.6。我这里因为装的hadoop是3.1.0,所以直接安装for hadoop 2.7 and later的版本。

            注:hadoop的安装请查看我的上一篇博客,不在重复描述。

怎么在centOS7系统中安装Spark

centOS7下Spark安装配置
#mkdir spark 
#cd /usr/spark
#tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
#vim /etc/profile
#添加spark的环境变量,加如PATH下、export出来
#source /etc/profile
#进入conf目录下,把spark-env.sh.template拷贝一份改名spark-env.sh
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp spark-env.sh.template spark-env.sh
#vim spark-env.sh
export SCALA_HOME=/usr/scala/scala-2.13.0-M4
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/spark/spark-2.3.1-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_EXECUTOR_MEMORY=1G
#进入conf目录下,把slaves.template拷贝一份改名为slaves
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp slaves.template slaves
#vim slaves
#添加节点域名到slaves文件中
#master   //该域名为centos7-1的域名
#slave1   //该域名为centos7-2的域名
#slave2   //该域名为centos7-3的域名

启动spark

#启动spark之前先要把hadoop节点启动起来
#cd /usr/hadoop/hadoop-3.1.0/
#sbin/start-all.sh
#jps //检查启动的线程是否已经把hadoop启动起来了
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7
#sbin/start-all.sh
备注:在slave1\slave2节点上也必须按照上面的方式安装spark,或者直接拷贝一份到slave1,slave2节点上
#scp -r /usr/spark root@slave1ip:/usr/spark

启动信息如下:

starting org.apache.spark.deploy.master.Master, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.com.cn.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.com.cn.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out

测试Spark集群:

用浏览器打开master节点上的spark集群url:http://192.168.190.130:8080/

怎么在centOS7系统中安装Spark

关于怎么在centOS7系统中安装Spark就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


新闻名称:怎么在centOS7系统中安装Spark-创新互联
当前URL:http://cdweb.net/article/ipjej.html