centos 安装 scala和 spark 并进行测试

centos 安装 scala和 spark

今天我们来讲一下，centos 安装scala 和spark，这篇博客接着上面四篇博客，感兴趣的，可以看看我前面几篇博客，那是关于hadoop 下对接eclipse 运行mapreduce 程序的操作。

首先下载两个安装包 在我给的下面这个网盘链接下载 链接：https://pan.baidu.com/s/1RwI9FK-C1RzClQxwxj95Wg 提取码：jslz

下载开头为spark 和sbt的两个文件 下载好之后放在centos 的 /usr/soft 文件夹下

安装jdk

我们需要先安装好jdk 这里吗，我上面的网盘里也有，至于怎么安装，我之前的博客有详细的教程可以看一下 https://blog.csdn.net/weixin_43327597/article/details/108834870

然后我们开始安装spark 和scala

首先我们进入 /usr/soft文件夹下

cd /usr/soft #然后解压这个两个文件夹 tar -zxvf sbt-1.4.0.tgz tar zxvf spark-2.0.2-bin-hadoop2.7.tgz

之后输入

ll

你会看到这样的显示

然后需要配置一下环境变量

vi /etc/profile

添加如下代码

export SCALA_HOME=/usr/soft/sbt export SPARK_HOME=/usr/soft/spark-2.0.2-bin-hadoop2.7 export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

需要激活环境

source /etc/profile

我们的scala和spark即安装好

测试spark cd spark-2.0.2-bin-hadoop2.7/ bin/spark-shell

即可启动spark shell

现在创建一个函数，测试 创建如下函数

{def main(args: Array[String]){println("helloworld")}}

显示如下结果则配置正确

之后我们测试 输入如下代码

HelloWorld.main(null)

显示如下结果则正确

到此就可以使用spark了