A7--Spark部署
发布时间 2023-04-04 13:46:45作者: Jerry·
一、版本信息
二、安装部署
1）上传解压缩文件
tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz
|
2）配置环境变量
vim /etc/profile
# Spark
export SPARK_HOME=/opt/spark-3.2.1
export PATH=$SPARK_HOME/bin:$PATH
|
3）修改配置文件
vim /opt/spark-3.2.1/conf/spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/opt/spark-3.2.1
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=/usr/bin/python
export SPARK_DRIVER_PYTHON=/usr/bin/python
|