链接：https://pan.baidu.com/s/1oNles2MKW8vlhr3Vuu1RSw 

提取码：y1it 

 

12.1 配置原则

如何发挥集群最佳性能

原则1：CPU核数分配原则

 

数据节点：建议预留2～4个核给OS和其他进程(数据库，HBase等)外，其他的核分配给YARN。

控制节点：由于运行的进程较多，建议预留6～8个核。

原则2：内存分配

 

除了分配给OS、其他服务的内存外，剩余的资源应尽量分配给YARN。

 

原则3：虚拟CPU个数分配

 

节点上YARN可使用的虚拟CPU个数建议配置为逻辑核数的1.5～2倍之间。如果上层计算应用对CPU的计算能力要求不高，可以配置为2倍的逻辑CPU。

 

原则4：提高磁盘IO吞吐率

 

尽可能挂载较多的盘，以提高磁盘IO吞吐率。

 

影响性能的因素

因素1：文件服务器磁盘I/O

 

一般磁盘顺序读写的速度为百兆级别，如第二代SATA盘顺序读的理论速度为300Mbps，只从一个盘里读，若想达到1Gbps每秒的导入速度是不可能的。并且若从一个磁盘读，单纯依靠增加map数来提高导入速率也不一定可以。因为随着map数变多，对于一个磁盘里的文件读，相当由顺序读变成了随机读，map数越多，磁盘读取文件的随机性越强，读取性能反而越差。如随机读最差可变成800Kbps。 因此需要想办法增大文件服务器的磁盘IO读效率，可以使用专业的文件服务器，如NAS系统，或者使用更简单的方法，把多个磁盘进行Raid0或者Raid5。

 

因素2：文件服务器网络带宽

 

单个文件服务器的网络带宽越大越好，建议在10000Mb/s以上。

 

因素3：集群节点硬件配置

 

集群节点硬件配置越高，如CPU核数和内存都很多，可以增大同时运行的map或reduce个数，如果单个节点硬件配置难以提升，可以增加集群节点数。

 

因素4：SFTP参数配置

 

不使用压缩、加密算法优先选择aes128-cbc，完整性校验算法优先选择umac-64@openssh.com

 

因素5：集群参数配置

 

因素6：Linux文件预读值

 

设置磁盘文件预读值大小为16384，使用linux命令：

 

echo 16384 > /sys/block/sda/queue/read_ahead_kb

 

 说明：

 

sda表示当前磁盘的磁盘名。