ClouderaManager指的是什么？有哪些功能？

更新时间:2021年12月08日14时58分来源:传智教育浏览次数:

Cloudera Manager是用于管理CDH群集的端到端应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。

使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务(Hadoop、Spark、Kudu、Impala)。其特点：应用程序的安装过程自动化，将部署时间从几周缩短到几分钟; 并提供运行主机和服务的集群范围的实时监控视图; 提供单个中央控制台，以在整个群集中实施配置更改; 并集成了全套的报告和诊断工具，可帮助您优化性能和利用率。

Cloudera Manager的核心是Cloudera Manager Server。提供了统一的UI和API方便用户和集群上的CDH以及其它服务进行交互，并实施监控和诊断等。

CM Server还负责安装配置CDH和其相关的服务软件，启动停止服务，维护集群中各个节点服务器以及上面运行的进程。

Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机

Management Service：执行各种监控、报警和报告功能的一组角色的服务。

Database：存储配置和监控信息

Cloudera Repository：可供Cloudera Manager分配的软件的存储库

Client：用于与服务器进行交互的接口

Admin Console：管理员控制台

API：开发人员使用 API可以创建自定义的Cloudera Manager应用程序

ClouderaManager功能

信号检测

默认情况下，Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是，为了减少用户延迟，在状态变化时会提高频率。

状态管理

模型状态捕获什么进程应在何处运行以及具有什么配置。

运行时状态是哪些进程正在何处运行以及正在执行哪些命令(例如：重新平衡 HDFS 或执行备份/灾难恢复计划或集群升级、停止) 。

当您更新配置(例如Hue Server Web 端口)时，您即更新了模型状态。但是，如果 Hue 在更新时正在运行，则它仍将使用旧端口。当出现这种不匹配情况时，角色会标记为具有“过时的配置”。要重新同步，您需重启角色(这会触发重新生成配置和重启进程)。

特殊情况如果要加入一些cloudera manager控制台没有的属性时候，都在高级配置选项里面嵌入。

服务器和客户端配置

例如使用HDFS，/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop目录下仅包含与 HDFS 客户端相关的配置。

而 HDFS 角色实例(例如：NameNode 和 DataNode)会从 /var/run/cloudera-scm-agent/process/812-hdfs-NAMENODE、820-hdfs-DATANODE 下的每个进程专用目录获取它们的配置，真正产生作用的是这个。

主机管理

Cloudera Manager 作为群集中的托管主机身份：JDK、Cloudera Manager Agent、CDH、Impala、Solr 等参与所需的所有软件部署到主机。

Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作。

Cloudera Management Service Host Monitor 角色执行运行状况检查并收集主机度量，以使您可以监控主机的运行状况和性能。

进程管理

在 Cloudera Manager 管理的群集中，只能通过 Cloudera Manager 启动或停止服务。Cloudera Manager 使用一种名为 supervisord 的开源进程管理工具，它会重定向日志文件，通知进程失败，为合适用户设置调用进程的有效用户 ID 等等。Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败，Cloudera Manager 还会用不良状态标记该实例。

特别需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集;所有正在运行的实例都将保持运行。

Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时，Agent 会在 /var/run/cloudera-scm-agent 中为它创建一个目录，并解压缩配置。

Agent 受到监控，属于 Cloudera Manager 的主机监控的一部分：如果 Agent 停止检测信号，主机将被标记为运行状况不良。

身份验证

Hadoop中身份验证的目的仅仅是证明用户或服务确实是他或她所声称的用户或服务。

通常，企业中的身份验证通过单个分布式系统(例如：轻型目录访问协议 (LDAP) 目录)进行管理，LDAP 身份验证包含由各种存储系统提供支持的简单用户名/密码服务，ranger+ldap+freeipa。

Hadoop 生态系统的许多组件会汇总到一起来使用 Kerberos 身份验证并提供用于在 LDAP 或 AD 中管理和存储凭据的选项。

授权

CDH 当前提供以下形式的访问控制：

适用于目录和文件的传统 POSIX 样式的权限。

适用于 HDFS 的扩展的访问控制列表 (ACL) 。

Apache HBase使用ACL来按列、列族和列族限定符授权各种操作 (READ, WRITE, CREATE, ADMIN)。

使用 Apache Sentry 基于角色进行访问控制。