13518219792
这篇文章主要讲解了“Master上的Spark怎么安装”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Master上的Spark怎么安装”吧！
成都创新互联专注于企业营销型网站建设、网站重做改版、克州网站定制设计、自适应品牌网站建设、H5技术、商城网站制作、集团公司官网建设、成都外贸网站制作、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为克州等各大城市提供网站开发制作服务。
Master、Slave1、Slave2这三台机器上均需要安装Spark。
首先在Master上安装Spark，具体步骤如下：
第一步：把Master上的Spark解压：
我们直接解压到当前目录下：
此时，我们创建Spark的目录“/usr/local/spark”:
把解压后的“spark-1.0.0-bin-hadoop1”复制到/usr/local/spark”下面：
第二步：配置环境变量
进入配置文件：
在配置文件中加入“SPARK_HOME”并把spark的bin目录加到PATH中：
配置后保存退出，然后使配置生效：
第三步：配置Spark
进入Spark的conf目录：
在配置文件中加入“SPARK_HOME”并把spark的bin目录加到PATH中：
把spark-env.sh.template 拷贝到spark-env.sh：
在配置文件中添加如下配置信息:
其中：
JAVA_HOME:指定的是Java的安装目录；
SCALA_HOME:指定的是Scala的安装目录；
SPARK_MASTER_IP:指定的是Spark集群的Master节点的IP地址；
SPARK_WORKER_MEMOERY:指定的Worker节点能够最大分配给Excutors的内存大小，因为我们的三台机器配置都是2g，为了最充分的使用内存，这里设置为了2g；
HADOOP_CONF_DIR:指定的是我们原来的Hadoop集群的配置文件的目录；
保存退出。
接下来配置Spark的conf下的slaves文件，把Worker节点都添加进去：
打开后文件的内容：
我们需要把内容修改为：
可以看出我们把三台机器都设置为了Worker节点，也就是我们的主节点即是Master又是Worker节点。
保存退出。
感谢各位的阅读，以上就是“Master上的Spark怎么安装”的内容了，经过本文的学习后，相信大家对Master上的Spark怎么安装这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！
