虚拟机的Spark安装步骤

发布时间 2023-10-23 18:13:11作者: yesyes1

相关代码截图

//解压压缩包
tar -zxvf spark-3.2.4-bin-hadoop3.2.tgz

//配置环境变量
vi /etc/profile

//添加内容
# spark
$PARK_HOME=/export/server/spark-3.2.4-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin

//进入到spark安装目录的conf目录下
//复刻spark--env.sh.template文件
cp spark-env.sh.template spark-env.sh

//修改spark-env.sh文件配置,在文件末尾加上这些代码语句
export SPARK_DIST_CLASSPATH=$(/export/server/hadoop-3.3.0/bin/hadoop classpath)

然后保存退出即可;

//到spark的安装目录下用spark自带示例验证spark是否安装成功
cd /export/server/spark-3.2.4-bin-hadoop3.2

//验证命令
bin/run-example SparkPi

//或者
bin/run-example SparkPi 2>&1 | grep "Pi is"

结果显示,安装成功:

//启动Spark Shell--spark安装目录下
bin/spark-shell

简单应用: