In questa sezione vengono fornite informazioni sulle impostazioni specifiche di Sentinel da eseguire durante l'installazione e la configurazione di CDH. Per informazioni dettagliate sull'installazione e la configurazione di CDH, fare riferimento alla versione certificata nella documentazione di Cloudera.
Sentinel funziona con Cloudera Express, la versione gratuita di CDH. Può essere utilizzato anche con Cloudera Enterprise, per il quale è necessario acquistare da Cloudera una licenza, che include numerose funzioni non disponibili nella versione Cloudera Express. Se si sceglie di iniziare con Cloudera Express e successivamente ci si rende conto che sono necessarie le funzionalità di Cloudera Enterprise, è possibile eseguire l'upgrade del cluster dopo aver acquistato la licenza da Cloudera.
Prima di installare CDH, è necessario configurare gli host conformemente ai prerequisiti seguenti:
Effettuare le operazioni preliminari specificate nella documentazione di Cloudera.
Per ottenere prestazioni migliori, si consiglia di utilizzare il file system ext4 o XFS.
CDH necessita di alcuni pacchetti del sistema operativo che non vengono installati di default. È quindi necessario montare il DVD del rispettivo sistema operativo. Nelle istruzioni di installazione di Cloudera sono riportate le informazioni sui pacchetti da installare.
Per i sistemi operativi SLES, è necessario il pacchetto python-psycopg2. Installare il pacchetto python-psycopg2. Per ulteriori informazioni, vedere la documentazione di openSUSE.
Se si utilizzano macchine virtuali, quando si creano i relativi nodi, riservare lo spazio su disco necessario nel file system. Ad esempio, in VMware è possibile utilizzare il thick provisioning.
Assicurarsi che i nodi del cluster Sentinel e CDH siano all'interno dello stesso fuso orario.
Impostare la variabile Swappiness di tutti gli host su 1 nel file /etc/sysctl.conf aggiungendo la voce seguente:
vm.swappiness=1
Per applicare immediatamente l'impostazione, eseguire il comando seguente:
sysctl -p
La versione di JDK in CDH deve essere almeno uguale a quella usata in Sentinel. Se la versione di JDK disponibile in CDH è meno recente di quella di Sentinel, invece di installare il JDK disponibile nell'archivio CDH seguire le istruzioni di installazione manuale di JDK.
Installare JDK utilizzando il file di archivio binario (.tar.gz), perché l'installazione dell'RPM di JDK causa problemi quando si utilizza lo script manage_spark_jobs.sh per inviare i lavori Spark su YARN.
Per stabilire la versione di JDK utilizzata in Sentinel, vedere le Note di rilascio di Sentinel.
Installare la versione certificata di CDH. Per informazioni sulla versione certificata di CDH, consultare la pagina delle informazioni tecniche su Sentinel. Per le istruzioni di installazione, fare riferimento alla versione certificata nella documentazione di Cloudera.
Durante l'installazione di CDH, effettuare le operazioni seguenti:
(Condizionale) Se l'installazione del database PostgreSQL incorportato ha esito negativo, effettuare i passaggi seguenti:
mkdir -p /var/run/postgresql
sudo chown cloudera-scm:cloudera-scm /var/run/postgresql
Quando si sceglie il tipo di installazione del software nella finestra Select Repository (Selezione archivio), verificare che Use Parcels (Usa pacchetti) sia selezionato e scegliere Kafka in Additional Parcels (Pacchetti aggiuntivi).
Quando si aggiungono nuovi servizi, assicurarsi di abilitare quelli specificati di seguito:
Cloudera Manager
ZooKeeper:
HDFS
HBase:
YARN
Spark
Kafka
NOTA:ai fini dell'affidabilità del sistema, il server Spark della cronologia e HDFS NameNode devono essere installati nello stesso nodo. Per informazioni sull'architettura di memorizzazione scalabile, vedere Pianificazione per la memorizzazione scalabile
Quando si abilitano i servizi sopra menzionati, configurare l'alta disponibilità per:
HBase HMaster
HDFS NameNode
YARN ResourceManager
(Condizionale) Se il programma di installazione non installa la configurazione client perché il percorso di Java è mancante, aprire una nuova sessione del browser e aggiornare manualmente il percorso di Java procedendo come segue:
Fare clic su Hosts (Host) > All Hosts (Tutti gli host) > Configuration (Configurazione) e specificare il percorso corretto nel campo Java Home Directory (Home directory di Java).