13.1 安装和配置 CDH

本节介绍在安装和配置 CDH 时 Sentinel 所需的特定设置。有关安装和配置 CDH 的详细信息，您必须参考 Cloudera 文档的认证版本。

Sentinel 可与 CDH 的免费版本 Cloudera Express 一起使用。Sentinel 还可与 Cloudera Enterprise 一起使用，后者需要您购买 Cloudera 的许可证，其中包括很多 Cloudera Express 版本所没有的功能。如果您选择一开始就使用 Cloudera Express，但是后来发现需要 Cloudera Enterprise 的功能，则可在购买了 Cloudera 的许可证后升级群集。

13.1.1 先决条件

安装 CDH 前，您必须根据以下先决条件设置主机：

  • 实现 Cloudera 文档中提到的先决条件。

  • 使用 ext4 或 XFS 文件系统来优化性能。

  • CDH 需要多个在默认情况下不安装的操作系统包。因此，您必须装入相应的操作系统 DVD。Cloudera 安装说明将指导您如何安装这些包。

  • 对于 SLES 操作系统，CDH 需要 python-psycopg2 包。安装 python-psycopg2 包。有关详细信息，请参见 openSUSE 文档。

  • 如果您使用的是虚拟机，请在创建虚拟机节点时在文件系统中保留所需的磁盘空间。例如，在 VMware 中，您可以使用密集供应。

  • 确保 Sentinel 和 CDH 群集节点处于同一时区。

  • 通过添加以下项，在 /etc/sysctl.conf 文件中将所有主机的交换率设置为 1：

    vm.swappiness=1

    要立即应用此设置，请运行以下命令：

    sysctl -p

  • CDH 中的 JDK 版本必须至少与 Sentinel 中使用的 JDK 版本相同。如果 CDH 中的 JDK 版本低于 Sentinel JDK，则您必须按照说明手动安装 JDK，而不是安装 CDH 储存库中的可用 JDK。

    使用存档二进制文件 (.tar.gz) 安装 JDK，因为使用 manage_spark_jobs.sh 脚本在 YARN 上提交 Spark 工作作业时，JDK RPM 安装会产生问题。

    要确定 Sentinel 中使用的 JDK 版本，请参见 Sentinel 发行说明。

13.1.2 安装和配置 CDH

安装 CDH 的认证版本。有关 CDH 已认证版本的信息，请参见 Sentinel 技术信息页面。有关安装说明，请参考 Cloudera 文档的认证版本。

安装 CDH 时执行以下操作：

  • （有条件）如果嵌入式 PostgreSQL 数据库安装失败，执行以下步骤：

    mkdir -p /var/run/postgresql

    sudo chown cloudera-scm:cloudera-scm /var/run/postgresql

  • 在选择储存库窗口中选择软件安装类型时，请确保选择使用包，并在附加的包中选择·Kafka。

  • 添加服务时，请确保启用以下服务：

    • Cloudera 管理器

    • ZooKeeper

    • HDFS

    • HBase

    • YARN

    • Spark

    • Kafka

    注：Spark History Server 和 HDFS NameNode 必须安装在同一节点上，才能确保系统的可靠性。有关可缩放储存架构的信息，请参见 针对可缩放储存进行规划。

    启用上述服务时，为以下内容配置高可用性：

    • HBase HMaster

    • HDFS NameNode

    • YARN ResourceManager

  • （有条件）如果安装程序因缺少 Java 路径而无法部署客户端配置，请打开新的浏览器会话，然后按以下方式手动更新 Java 路径：

    单击主机 > 所有主机 > 配置，然后在 Java 用户主目录字段中指定正确的路径。