12.1 Instalación y configuración de CDH

En esta sección se proporciona información acerca de los valores específicos requeridos para Sentinel a la hora de instalar y configurar CDH. Para obtener más información acerca de la instalación y configuración de CHD, debe consultar la versión certificada de la documentación de Cloudera.

Sentinel es compatible con Cloudera Express, la versión gratuita de CDH. Además, Sentinel es compatible con Cloudera Enterprise, que requiere la adquisición de una licencia de Cloudera e incluye numerosas funciones que no está disponibles en la versión Cloudera Express. Si decide comenzar con Cloudera Express y, más adelante, se da cuenta de que necesita las funcionalidades disponibles en Cloudera Enterprise, puede actualizar el clúster después de adquirir la licencia de Cloudera.

12.1.1 Requisitos previos

Antes de instalar CDH, debe configurar los hosts de acuerdo con los siguientes requisitos previos:

  • Complete los requisitos previos que se mencionan en la documentación de Cloudera.

  • Utilice el sistema de archivos ext4 o XFS para mejorar el rendimiento.

  • CDH necesita determinados paquetes de sistema operativo que no se instalan de forma predeterminada. Por lo tanto, debe realizar la instalación mediante el DVD del sistema operativo correspondiente. Las instrucciones de instalación de Cloudera le guiarán acerca de los paquetes que debe instalar.

  • Para los sistemas operativos de SLES, CDH requiere el paquete python-psycopg2. Instale el paquete python-psycopg2. Si desea obtener más información, consulte la documentación de openSUSE.

  • Si utiliza máquinas virtuales, reserve el espacio en disco requerido en el sistema de archivos al crear nodos de máquinas virtuales. Por ejemplo, en VMware, puede utilizar un aprovisionamiento grueso.

  • Establezca el valor de swappiness de todos los hosts en 1 en el archivo /etc/sysctl.conf mediante la adición de la siguiente entrada:

    vm.swappiness=1

    Para aplicar esta configuración inmediatamente, ejecute el comando siguiente:

    sysctl -p
  • La versión de JDK en CDH debe ser al menos la misma versión de JDK utilizada en Sentinel. Si la versión de JDK disponible en CDH es menor que el JDK de Sentinel, debe seguir las instrucciones para instalar el JDK manualmente, en lugar de instalar el JDK disponible en el repositorio de CDH.

    Instale JDK utilizando el archivo binario del archivo de reserva (.tar.gz) porque la instalación RMP de JDK causa problemas al utilizar el guión manage_spark_jobs.sh para enviar tareas de Spark en YARN.

    Para averiguar la versión de JDK utilizada en Sentinel, consulte las Notas de la versión de Sentinel.

12.1.2 Instalación y configuración de CDH

Instale la versión certificada de CDH. Para obtener información sobre la versión certificada de CDH, consulte la página de Información técnica de Sentinel. Consulte la versión certificada de la documentación de Cloudera si desea obtener instrucciones de instalación.

Mientras instala CDH, realice los siguientes pasos:

  • (Condicional) Si la instalación falla durante la instalación de la base de datos PostgreSQL integrada, realice los siguientes pasos:

    mkdir -p /var/run/postgresql

    sudo chown cloudera-scm:cloudera-scm /var/run/postgresql

  • Si se selecciona el tipo de instalación de software en la ventana Select Repository (Seleccionar repositorio), asegúrese de que Use Parcels (Utilizar paquetes) está seleccionado y seleccione Kafka en Additional Parcels (Paquetes adicionales).

  • Cuando añada servicios, asegúrese de que habilita los servicios siguientes:

    • Administrador de Cloudera

    • ZooKeeper

    • HDFS

    • HBase

    • YARN

    • Spark

    • Kafka

    NOTA:El servidor de historial de Spark y HDFS NameNode deben instalarse en el mismo nodo para obtener una mayor fiabilidad del sistema. Para obtener información sobre la arquitectura de almacenamiento ampliable, consulte Planificación para el almacenamiento ampliable.

    Al habilitar los servicios anteriores, configure el modo de alta disponibilidad para los siguientes elementos:

    • HBase HMaster

    • HDFS NameNode

    • YARN ResourceManager

  • (Condicional) Si el programa de instalación no implanta la configuración del cliente debido a que falta la vía de Java, abra una nueva sesión del navegador y actualice manualmente la vía de Java como sigue:

    Haga clic en Hosts > All Hosts (Todos los hosts) > Configuration (Configuración) e indique la vía correcta en el campo Java Home Directory (Directorio personal de Java).