JZTXT

Hadoop-3.3.6分布式集群搭建步骤

发布时间 2023-11-27 13:58:11作者: SpringCore

1.下载JDK8

Linux 安装Openjdk

2.下载Hadoop3.3.6

Hadoop 安装及环境变量配置

3.创建hadoop数据存储的目录

mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name

4.配置hostname和host文件

hostnamectl set-hostname {hostName}
vim /etc/hosts

192.168.58.130  {hostName}
192.168.58.131  {hostName}
192.168.58.132  {hostName}

5.分布式集群搭建

1.集群部署规划

注意：

  • NameNode和SecondaryNameNode不要安装在用一台服务器上

  • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台服务器上。

Hadoop02 Hadoop03 Hadoop04
HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode
YARN NodeManager ResourceManager、NodeManager NodeManager

2.配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

1.默认配置文件
要获取的默认文件 文件存放在Hadoop的jar包中的位置
core-default.xml hadoop-common-3.3.6.jar/core-default.xml
hdfs-default.xml hadoop-hdfs-3.3.6.jar/hdfs-default.xml
yarn-default.xml hadoop-yarn-common-3.3.6.jar/yarn-default.xml
mapred-default.xml hadoop-mapreduce-client-core-3.3.6.jar/mapred-default.xml
2.自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。