29.3 Migrazione di dati evento e dati non elaborati

È possibile eseguire la migrazione dei dati evento e i dati non elaborati dal server di origine al sistema di messaggistica scalabile utilizzando lo script scalablestorage_data_uploader.sh. Eseguire lo script singolarmente per i dati evento e per i dati non elaborati. Lo script carica i dati negli argomenti Kafka. Lo script trasferisce i dati per l'intervallo di date (da e a) specificato. Quando si esegue lo script, vengono visualizzati i parametri obbligatori e facoltativi che è necessario specificare per iniziare il caricamento dei dati.

Lo script deve essere eseguito come utente novell. Pertanto, assicurarsi che le directory dei dati e i file specificati dispongano delle autorizzazioni appropriate per l'utente novell.

È possibile specificare personalizzazioni come la compressione dei dati durante l'upload, l'invio dei dati in batch e così via. Per specificare queste personalizzazioni, creare un file di proprietà e aggiungere le proprietà richieste nel formato chiave-valore. Ad esempio, è possibile aggiungere proprietà nel modo indicato di seguito:

compression.type=lz4

batch.size=20000

NOTA:Per informazioni sulle proprietà Kafka, vedere la documentazione Kafka. Impostare le proprietà e i relativi valori a propria discrezione in quanto lo script non convalida queste proprietà.

Di default, lo script effettua l'upload dei dati dalla memorizzazione primaria. Se si desidera eseguire l'upload dei dati dalla memorizzazione secondaria, specificare il percorso appropriato della memorizzazione secondaria quando si esegue lo script.

Per effettuare l'upload dei dati evento e dei dati non elaborati:

  1. Eseguire il login al server Sentinel come utente novell.

  2. Eseguire lo script seguente:

    /opt/novell/sentinel/bin/scalablestorage_data_uploader.sh

  3. Seguire le istruzioni visualizzate ed eseguire nuovamente lo script con i parametri richiesti.

Il periodo di permanenza dei dati evento e i dati non elaborati per i quali è stato effettuato l'upload è impostato nel server di destinazione.

Una volta effettuato l'upload dei dati, lo script registra lo stato, come le partizioni di cui è stato effettuato l'upload, le partizioni per le quali non è stato possibile effettuare l'upload, il numero di eventi per i quali è stato effettuato l'upload e così via. Per le partizioni con la data del giorno precedente e del giorno corrente, lo stato di trasferimento dei dati verrà mostrato IN_PROGRESS considerando gli eventi che potrebbero verificarsi in ritardo.

Negli scenari in cui l'upload dei dati non è stato completato correttamente o in cui lo stato di upload dei dati per le partizioni continua a indicare IN_PROGRESS, eseguire nuovamente lo script. Quando si esegue nuovamente lo script, viene prima verificato il file di stato per conoscere le partizioni per le quali è già stato effettuato l'upload e quindi si continua con l'upload solo di quelle rimanenti. Lo script mantiene i log nella directory /var/opt/novell/sentinel/log/scalablestorage_data_uploader.log ai fini della risoluzione dei problemi.