在centos系統(tǒng)上配置和管理hadoop分布式文件系統(tǒng)（hdfs）涉及多個(gè)步驟，包括安裝hadoop、設(shè)置環(huán)境變量、修改配置文件、啟動(dòng)和停止服務(wù)等。以下是一個(gè)詳細(xì)的指南：

1. 安裝Hadoop

首先，需要在centos上安裝Hadoop。你可以從apache Hadoop的官方網(wǎng)站下載合適的版本，并解壓到指定目錄，例如 /usr/local/hadoop。

2. 設(shè)置環(huán)境變量

編輯 /etc/profile 文件，添加Hadoop相關(guān)的環(huán)境變量，如 HADOOP_HOME 和 PATH：

export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存文件后，運(yùn)行以下命令使配置生效：

source /etc/profile

3. 配置hdfs

3.1 配置核心文件目錄

進(jìn)入Hadoop的配置文件目錄，通常位于 HADOOP_HOME/etc/hadoop 中。關(guān)鍵的配置文件包括：

• core-site.xml：設(shè)置HDFS的默認(rèn)文件系統(tǒng)地址。
• hdfs-site.xml：配置HDFS的數(shù)據(jù)存儲(chǔ)路徑和副本數(shù)等。
• yarn-site.xml 和 mapred-site.xml：主要用于yarn和mapreduce配置，不涉及HDFS。

3.2 修改 core-site.xml

編輯 core-site.xml 文件，添加以下內(nèi)容：

<configuration><property><name>fs.defaultFS</name><value>hdfs://namenode_hostname:9000</value></property><property><name>hadoop.tmp.dir</name><value>/var/hadoop/tmp</value></property></configuration>

將 namenode_hostname 替換為NameNode節(jié)點(diǎn)的主機(jī)名或IP地址。

3.3 修改 hdfs-site.xml

編輯 hdfs-site.xml 文件，添加以下內(nèi)容：

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode/data</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode/data</value></property></configuration>

確保 /path/to/namenode/data 和 /path/to/datanode/data 目錄存在，如果不存在，可以手動(dòng)創(chuàng)建。

4. 配置ssh無(wú)密碼登錄

為所有Hadoop節(jié)點(diǎn)配置SSH無(wú)密碼登錄，以便節(jié)點(diǎn)間可以無(wú)密碼通信。

1. 生成SSH密鑰對(duì)：

ssh-keygen -t rsa

2. 將公鑰復(fù)制到其他節(jié)點(diǎn)：

ssh-copy-id user@nodeX

將 user 替換為用戶名，nodeX 替換為節(jié)點(diǎn)名稱。

5. 格式化NameNode

在首次啟動(dòng)HDFS之前，需要格式化NameNode：

hdfs namenode -format

6. 啟動(dòng)HDFS

在NameNode節(jié)點(diǎn)上執(zhí)行以下命令啟動(dòng)HDFS集群：

start-dfs.sh

7. 驗(yàn)證HDFS

使用以下命令檢查HDFS是否正常運(yùn)行：

hdfs dfsadmin -report

訪問(wèn) https://www.php.cn/link/a6a141f631618325c81115ed35c32ff5 查看HDFS Web ui。

8. 停止HDFS

在NameNode節(jié)點(diǎn)上執(zhí)行以下命令停止HDFS集群：

stop-dfs.sh

9. 監(jiān)控和日志

配置日志目錄和監(jiān)控工具，以便及時(shí)發(fā)現(xiàn)和解決問(wèn)題。可以使用Hadoop提供的Web界面查看集群狀態(tài)和日志。

10. 權(quán)限管理

HDFS使用類似于Linux的權(quán)限模型，可以通過(guò) hdfs dfs -chmod 和 hdfs dfs -chown 命令來(lái)設(shè)置文件和目錄的權(quán)限。HDFS還支持更精細(xì)的權(quán)限控制，可以通過(guò) hdfs dfs -setfacl 和 hdfs dfs -getfacl 命令來(lái)設(shè)置和查看ACL。

11. 擴(kuò)展和管理

• 擴(kuò)容：當(dāng)集群存儲(chǔ)不足時(shí)，可以增加新的DataNode節(jié)點(diǎn)，并重新配置HDFS以包含新的節(jié)點(diǎn)。
• 縮容：在集群需求減少時(shí)，可以移除DataNode節(jié)點(diǎn)，并相應(yīng)地調(diào)整HDFS的配置。

通過(guò)以上步驟，你可以在CentOS上成功配置和管理HDFS集群。確保所有配置正確無(wú)誤后，你可以開(kāi)始使用HDFS進(jìn)行大數(shù)據(jù)存儲(chǔ)和處理。