34.0 Migración de datos

Puede utilizar el guión data_uploader.sh para migrar los datos a uno de los siguientes componentes de almacenamiento de datos:

  • Kafka: Puede migrar datos de eventos y en bruto a Kafka. Ejecute el guión de forma individual para los datos de eventos y datos en bruto. El guión migra los datos a los temas de Kafka.

    Puede especificar personalizaciones, como la compresión de datos durante la migración, el envío de datos en lotes, etc. Para especificar estas personalizaciones, cree un archivo de propiedades y añadir las propiedades requeridas en formato valor-clave. Por ejemplo, puede añadir propiedades de la siguiente forma:

    compression.type=lz4

    batch.size=20000

    Para obtener información acerca de las propiedades de Kafka, consulte la sección Kafka documentation (Documentación de Kafka). Defina las propiedades y sus valores según su criterio debido a que el guión no valida estas propiedades.

    NOTA:Asegúrese de que el servidor de Sentinel pueda resolver todos los nombres de host de intermediario de Kafka con direcciones IP válidas para todo el clúster de Kafka. Si no se ha configurado el DNS para habilitar esto, añada los nombres de host de intermediario de Kafka al archivo /etc/hosts del servidor de Sentinel.

  • Elasticsearch: Solo puede migrar datos de eventos en Elasticsearch. Antes de migrar los datos, asegúrese de que ha habilitado la visualización de eventos. Para obtener más información, consulte Habilitación de la visualización de eventos.

El guión transfiere datos para el rango de datos (desde y a) que especifique. Al ejecutar el guión, se muestran los parámetros obligatorios y opcionales que debe especificar para iniciar la migración de datos y también la información sobre las propiedades correspondientes que se deben utilizar para el componente de almacenamiento de datos deseado.

El guión debe ejecutarse como usuario novell. Por lo tanto, asegúrese de que los directorios de datos y los archivos que especifique dispongan de los permisos adecuados para el usuario novell. Por defecto, el guión migra los datos desde el almacenamiento principal. Si desea migrar los datos desde el almacenamiento secundario, especifique la vía adecuada para el almacenamiento secundario cuando se ejecute el guión.

Para migrar los datos:

  1. Entre en el servidor de Sentinel como el usuario novell.

  2. Ejecute el guión siguiente:

    /opt/novell/sentinel/bin/data_uploader.sh

  3. Siga las instrucciones en pantalla y ejecute el guión de nuevo con los parámetros necesarios.

Los datos migrados tendrán el período de retención que se haya definido en el servidor de destino.

Una vez que finalice la migración de datos, el guión registra el estado, como las particiones que se han migrado correctamente, las particiones que no se han podido migrar, el número de eventos migrados, etc. Para las particiones con fecha del día actual y el día anterior, el estado de transferencia de datos se mostrará IN_PROGRESS teniendo en cuenta los eventos que puedan entrar más tarde.

Vuelva a ejecutar el guión cuando no se haya completado correctamente la migración de datos o el estado de migración de datos de las particiones aún indique IN_PROGRESS. Al volver a ejecutar el guión, se comprueba primero el archivo de estado para conocer las particiones que ya se han migrado y, a continuación, se siguen migrando solo las restantes. El guión mantiene los registros en el directorio /var/opt/novell/sentinel/log/data_uploader.log con el fin de solucionar problemas.