在centos上設置hdfs資源調(diào)度主要通過配置yarn（yet another Resource negotiator）來實現(xiàn)，因為hdfs的資源調(diào)度是由yarn完成的。以下是設置hdfs資源調(diào)度的步驟和策略：

yarn架構(gòu)和資源調(diào)度概述

YARN作為hadoop的資源管理和調(diào)度系統(tǒng)，負責為在Hadoop集群上運行的應用程序提供資源管理和調(diào)度服務。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等組件組成。

常用調(diào)度策略

• FIFO（先進先出）：任務按照提交的順序進行執(zhí)行。
• Capacity Scheduler：為不同的隊列分配固定的資源比例，確保資源的合理利用和作業(yè)的公平執(zhí)行。
• Fair Scheduler：根據(jù)隊列的資源需求和作業(yè)的歷史資源使用情況進行資源分配，實現(xiàn)更公平的資源分配。

配置HDFS資源調(diào)度的步驟

1. 環(huán)境準備：安裝JDK并設置ssh無密碼登錄。
2. Hadoop安裝：下載并解壓Hadoop安裝包，配置環(huán)境變量。
3. HDFS配置：設置core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml文件。
4. 資源調(diào)度方案：在yarn-site.xml中配置ResourceManager和NodeManager的相關(guān)參數(shù)，如資源池、調(diào)度策略等。
5. 高可用性配置：設置Secondary NameNode和zookeeper以增強HDFS的高可用性。
6. 啟動HDFS：格式化NameNode并使用start-dfs.sh腳本啟動HDFS集群。
7. 監(jiān)控和管理：使用HDFS命令行工具或Web界面監(jiān)控集群狀態(tài)。

注意事項

• 在進行任何配置更改之前，建議先停止HDFS服務，以避免配置更改時的不一致狀態(tài)。
• 確保將更改后的配置文件同步到所有DataNode和SecondaryNameNode上。
• 在生產(chǎn)環(huán)境中，可能需要根據(jù)集群的性能和使用情況進行進一步的調(diào)整。

通過上述步驟和策略，可以在centos上設置HDFS資源調(diào)度，以優(yōu)化集群的性能和資源利用率。