Step1:前期准备
虚拟机软件:VMware workstation 16 pro
网盘链接:https://pan.baidu.com/s/1Yd0JUqiM-N6rpQbO0RjG_w
--来自百度网盘超级会员V2的分享
集群信息如下
| 主机名 | IP | 操作系统 |
| node01 | 192.168.24.111 | |
| node02 | 192.168.24.112 | |
| node03 | 192.168.24.113 | |
| node04 | 192.168.24.114 |
相关服务版本
| 服务 | 版本 | 网盘链接 |
| JDK | 1.8.0 | |
| Apache Zookeeper | 3.7.0 | |
| Apache Hadoop | 3.3.0 | |
| Apache HBase | 2.4.9 | |
| Apache Hive | 3.1.2 | |
| Apache Kafka | 2.8.0 | |
| Apache Spark | 3.2.0 |
Step2:角色部署
| 主机名 | ZK | HDFS | Yarn | hive | hbase | Kafka | Spark | ||||||
| NN | 2NN | DN | RM | NM | metastore | server | master | RS | server | executor | |||
| node01 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ||||
| node02 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ||||
| node03 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | |||||
| node04 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ||||||