本文闡述如何在Debian系統(tǒng)上配置hadoop的資源分配策略，主要關注yarn（Yet Another Resource Negotiator）的配置，因為YARN是Hadoop資源管理和調度的核心。
YARN資源管理器配置：
關鍵配置參數包括：
- yarn.nodemanager.resource.memory-mb：每個節(jié)點管理器可分配的物理內存總量（MB），默認8192MB（8GB）。
- yarn.nodemanager.vmem-pmem-ratio：虛擬內存與物理內存的使用比例，默認2.1。
- yarn.nodemanager.resource.cpu-vcore：每個節(jié)點管理器可分配的虛擬CPU核心數，默認8。 可根據CPU性能差異調整，將一個物理CPU核心劃分為多個虛擬核心。
Hadoop核心配置文件：
- core-site.xml：配置hdfs（Hadoop分布式文件系統(tǒng)）位置及其他屬性。
- hdfs-site.xml：配置HDFS數據副本數量、NameNode元數據存儲位置等。
- mapred-site.xml：配置mapreduce運行環(huán)境。
- yarn-site.xml：配置YARN資源管理器和調度器。
資源調度策略選擇：
Hadoop YARN提供多種資源調度器：
- Capacity Scheduler: 基于容量的調度器，適合資源需求相對穩(wěn)定的應用場景。
- Fair Scheduler: 基于公平性的調度器，動態(tài)分配資源，適合資源需求波動較大的應用。
請注意，以上配置適用于Hadoop 2.x和3.x版本，具體配置需根據實際Hadoop版本、集群規(guī)模和資源情況進行調整和優(yōu)化。 實際應用中，需要根據工作負載和集群資源情況選擇合適的調度器并微調參數。
