本专栏收集了头歌大数据的所有答案 以供参考。

第一关：部署Scala语言开发环境。
 。

以下是解决问题的步骤。

标题已经说明Spark安装包已经下载到/opt目录，因此无需再次下载。

• 1.因此，首先将目录跳转到/opt目录中。

cd /opt。

• 2.接下来，解压到/app目录：

mkdir /app    //创建 app 目录tar -zxvf  scala-2.12.7.tgz -C /app。

配置环境。
接下来，我们将开始配置环境，Java环境࿰需要在自己的机器上配置c;由于Scala是基于jvm的（Java环境已经在平台上配置好了༉：

vi /etc/profile。

#set scalaSCALA_HOME=/app/scala-2.12.7export PATH=$PATH:$SCALA_HOME/bin。

不要忘记Source配置后 /etc/profile。

校验。
输入命令行：scala -version出现以下结果，配置成功。

按照惯例󿀌开始编程语言时，我们必须举行仪式，哈哈，那就是，Hello World，接下来，我们将使用Scala输出Hellol World：

将Scala输入Scala命令行，输入println("Hello World") 就可以啦。

第二关：Spark开发环境的安装与配置。

解答步骤。

标题已经说明Spark安装包已经下载到/opt目录，所以不需要再下载了。

• 1.因此，首先将目录跳转到/opt目录中。

cd /opt。

• 2.然后按步骤解压。

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app。

• 3.配置环境变量。

vim /etc/profile。

• 在编辑文件的末尾添加以下代码。

#set spark enviromentSPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin。

• 保存后，使用以下代码更新环境变量。

source /etc/profile。

• 修改Spark配置文件。
• 切换到conf目录：

cd /app/spark-2.2.2-bin-hadoop2.7/conf。

• 这里我们需要配置spark-env.sh文件󿀌但是查看目录下的文件，只发现一个spark-env.sh.template文件，我们用命令复制文件，并将其命名为spark-env.sh可以；

• 接下来，编辑spark-env.sh，在文件末尾添加以下配置：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11export SCALA_HOME=/app/scala-2.12.7export HADOOP_HOME=/usr/local/hadoop/export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoopexport SPARK_MASTER_IP=machine_name   # machine_name export根据自己的主机确定 SPARK_LOCAL_IP=machine_name    # machine_name 根据自己的主机确定。

输入hostname查询命令行中的主机名称。

输入hostname查询命令行中的主机名。

我这里的主机名是educoder。

所以将。

export SPARK_MASTER_IP=machine_name   # machine_name export根据自己的主机确定 SPARK_LOCAL_IP=machine_name    # machine_name 根据自己的主机来决定。

修改为。

export SPARK_MASTER_IP=educoder   # educoder export根据自己的主机确定 SPARK_LOCAL_IP=educoder    # educoder 根据自己的主机确定。
校验。
最后，我们需要检查安装配置是否成功；

现在我们开始spark，运行spark自带的demo：
首先，我们在spark根目录下启动spark：

在spark的根目录下输入命令./sbin/start-all.sh可以启动，使用jps命令检查是否成功启动#xff0c;woker和master节点代表成功启动。

接下来，操作demo：
使用Spark根目录的命令./bin/run-example SparkPi > SparkOutput.txt运行示例程序。

在运行过程中，我们可以发现打印了许多日志，最后，我们使用cat SparkOutput.txt可以查看计算结果（计算是错误的，所以每个结果都会不同）：

分享让更多人看到