Vous pouvez utiliser le script data_uploader.sh pour migrer des données vers l'un des composants de stockage de données suivants :
Kafka : Vous pouvez migrer à la fois des données d'événements et des données brutes vers Kafka. Exécutez le script pour les données d'événements, puis les données brutes. Le script migre les données dans les rubriques Kafka.
Vous pouvez préciser des personnalisations comme la compression des données lors de la migration, la transmission des données par lot, etc. Pour ce faire, vous devez créer un fichier de propriétés et y ajouter les propriétés requises au format clé-valeur. Par exemple :
compression.type=lz4
batch.size=20000
Pour plus d'informations sur les propriétés Kafka, reportez-vous à la Documentation de Kafka. Configurez les propriétés et leurs valeurs avec prudence car le script ne les valide pas.
REMARQUE :Assurez-vous que le serveur Sentinel est en mesure de résoudre tous les noms d'hôtes de courtier Kafka sur des adresses IP correctes pour l'ensemble de la grappe Kafka. Si DNS n'est pas configuré pour permettre cela, ajoutez les noms d'hôte du courtier Kafka au fichier /etc/hosts du serveur Sentinel.
Elasticsearch : Vous pouvez migrer uniquement des données d'événement vers Elasticsearch. Avant de migrer les données, assurez-vous que vous avez activé la visualisation des événements. Pour plus d'informations, reportez-vous à la section Activation de la visualisation des événements.
Il les transfère pour la plage de dates (du, au) que vous précisez. Lorsque vous exécutez le script, il affiche les paramètres obligatoires et facultatifs que vous devez spécifier pour lancer la migration des données et également des informations sur les propriétés pertinentes à utiliser pour le composant de stockage des données de votre choix.
Le script doit être exécuté en tant qu'utilisateur novell. Il faut donc vous assurer que les répertoires de données et tout fichier précisé disposent des autorisations appropriées pour l'utilisateur novell. Par défaut, le script migre les données depuis le stockage primaire. Pour les migrer depuis un stockage secondaire, entrez le chemin approprié vers ce stockage lors de l'exécution du script.
Pour migrer des données :
Connectez-vous au serveur Sentinel en tant qu'utilisateur novell.
Exécutez le script suivant :
/opt/novell/sentinel/bin/data_uploader.sh
Suivez les instructions à l'écran et réexécutez le script avec les paramètres requis.
Les données migrées auront la période de conservation définie sur le serveur cible.
Après la migration des données, le script en enregistre l'état notamment les partitions téléchargées, les partitions dont la migration a échoué et le nombre d'événements. Pour les partitions dont la date correspond au jour précédent ou à la date courante, l'état du transfert de données affichera IN_PROGRESS (en cours) pour prendre en compte les événements susceptibles d'arriver tardivement.
Réexécutez le script si la migration des données a échoué ou si l'état de la migration des données des partitions continue d'afficher IN_PROGRESS. Lorsque vous réexécutez le script, celui-ci commence par vérifier le fichier d'état pour repérer les partitions déjà migrées, puis il reprend la migration des autres. Le script conserve les journaux dans le répertoire /var/opt/novell/sentinel/log/data_uploader.log à des fins de dépannage.