更新时间:2022年07月18日09时57分 来源:传智教育 浏览次数:
同学们在进行Hadoop集群的配置和启动时,可能会出现如NodeManager进程无法启动或者启动后自动结束的情况,此时可以查看Hadoop解压包目录中Logs下的日志文件,主要是因为系统内存和资源分配不足。此时,可以参考如下方式,在所有节点的yarn-site.xml配置文件中添加如下参数进行适当调整。
<property> <!--定义NodeManager上要提供给正在运行的容器的全部可用资源大小--> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <!--资源管理器中分配给每个容器请求的最小内存限制--> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <!--NodeManager可以分配的CPU核心数--> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property>
上述配置文件中,yarn. nodemanager. resource. memory-mb表示该节点上NodeManager可使用的物理内存总量,默认是8192MB,如果节点内存资源不够8MB,则需要适当调整;yarn.scheduler.minimum-allocation-mb表示每个容器可申请的最少物理内存量,默认是1024MB;yarn.nodemanager.resource.cpu-vcores表示NodeManager总的可用虚拟CPU核数。