Pour migrer les données d'événement et les données brutes depuis le serveur source vers le système de messagerie évolutif, utilisez le script scalablestorage_data_uploader.sh. Exécutez le script pour les données d'événements, puis les données brutes. Le script charge les données dans les rubriques Kafka. Il les transfère pour la plage de dates (du, au) que vous précisez. Quand vous l'exécutez, il affiche les paramètres obligatoires et facultatifs à renseigner pour lancer le téléchargement des données.
Le script doit être exécuté en tant qu'utilisateur novell. Il faut donc vous assurer que les répertoires de données et tout fichier précisé disposent des autorisations appropriées pour l'utilisateur novell.
Vous pouvez préciser des personnalisations comme la compression des données lors du téléchargement, la transmission des données par lot, etc. Pour ce faire, vous devez créer un fichier de propriétés et y ajouter les propriétés requises au format clé-valeur. Par exemple :
compression.type=lz4
batch.size=20000
REMARQUE :Pour plus d'informations sur les propriétés Kafka, reportez-vous à la Documentation de Kafka. Configurez les propriétés et leurs valeurs avec prudence car le script ne les valide pas.
Par défaut, le script télécharge les données depuis le stockage primaire. Pour les télécharger depuis un stockage secondaire, entrez le chemin approprié vers ce stockage lors de l'exécution du script.
Pour télécharger des données d'événements et des données brutes :
Connectez-vous au serveur Sentinel en tant qu'utilisateur novell.
Exécutez le script suivant :
/opt/novell/sentinel/bin/scalablestorage_data_uploader.sh
Suivez les instructions à l'écran et réexécutez le script avec les paramètres requis.
Les données d'événements et les données brutes auront la période de conservation définie sur le serveur cible.
Après le téléchargement des données, le script en enregistre l'état notamment les partitions téléchargées, les partitions dont le téléchargement a échoué et le nombre d'événements. Pour les partitions dont la date correspond au jour précédent ou à la date courante, l'état du transfert de données affichera IN_PROGRESS (en cours) pour prendre en compte les événements susceptibles d'arriver tardivement.
Réexécutez le script si le téléchargement des données a échoué ou si l'état du téléchargement des données des partitions continue d'afficher IN_PROGRESS. Lorsque vous réexécutez le script, celui-ci commence par vérifier le fichier d'état pour repérer les partitions déjà téléchargées, puis il reprend le téléchargement des autres. Le script conserve les journaux dans le répertoire /var/opt/novell/sentinel/log/scalablestorage_data_uploader.log à des fins de dépannage.