29.3 Migración de datos de eventos y datos en bruto

Se pueden migrar los datos de eventos y datos en bruto desde el servidor de origen al sistema de mensajería ampliable mediante el guión scalablestorage_data_uploader.sh. Ejecute el guión de forma individual para los datos de eventos y datos en bruto. El guión carga los datos en los temas de Kafka. El guión transfiere datos para el rango de datos (desde y a) que especifique. Cuando se ejecuta el guión, se muestran los parámetros obligatorios y opcionales que debe especificar para iniciar la carga de datos.

El guión debe ejecutarse como usuario novell. Por lo tanto, asegúrese de que los directorios de datos y los archivos que especifique dispongan de los permisos adecuados para el usuario novell.

Puede especificar las personalizaciones como la compresión de datos durante la carga, el envío de datos en los lotes, etc. Para especificar estas personalizaciones, cree un archivo de propiedades y añadir las propiedades requeridas en formato valor-clave. Por ejemplo, puede añadir propiedades de la siguiente forma:

compression.type=lz4

batch.size=20000

NOTA:Para obtener información acerca de las propiedades de Kafka, consulte la sección Kafka documentation (Documentación de Kafka). Defina las propiedades y sus valores según su criterio debido a que el guión no valida estas propiedades.

Por defecto, el guión carga los datos del almacenamiento principal. Si desea cargar los datos del almacenamiento secundario, especifique la vía adecuada para el almacenamiento secundario cuando se ejecuta el guión.

Para cargar los datos de eventos y datos en bruto:

  1. Entre en el servidor de Sentinel como el usuario novell.

  2. Ejecute el guión siguiente:

    /opt/novell/sentinel/bin/scalablestorage_data_uploader.sh

  3. Siga las instrucciones en pantalla y ejecute el guión de nuevo con los parámetros necesarios.

El evento cargado y los datos en bruto tendrán el período de retención como la haya definido en el servidor de destino.

Una vez que finalice la carga de datos, el guión registra el estado, como las particiones que se han cargado correctamente, las particiones que no ha podido cargar, el número de eventos cargado, etc. Para las particiones con fecha del día actual y el día anterior, el estado de transferencia de datos se mostrará IN_PROGRESS teniendo en cuenta los eventos que puedan entrar más tarde.

Vuelva a ejecutar el guión en escenarios donde no se realizó correctamente la carga de datos o donde el estado de carga de datos de las particiones todavía indica IN_PROGRESS. Cuando vuelva a ejecutar el guión, comprueba primero el archivo de estado para conocer las particiones que ya se han subido y se encarga de cargar solo las restantes. El guión mantiene los registros en el directorio /var/opt/novell/sentinel/log/scalablestorage_data_uploader.log con el fin de solucionar problemas.