data_uploader.shスクリプトを使用すると、データを次のいずれかのデータストレージコンポーネントに移行できます。
Kafka: イベントと生データの両方をKafkaに移行できます。イベントデータと生データに対して、このスクリプトを別個に実行する必要があります。このスクリプトでは、データがKafkaトピックに移行されます。
マイグレーション時のデータ圧縮や、データのバッチ送信など、カスタマイズ設定を指定することができます。こうしたカスタマイズ設定を指定するには、プロパティファイルを作成し、キーと値の形式で必要なプロパティを追加してください。たとえば、次のようにプロパティを追加することができます。
compression.type=lz4
batch.size=20000
Kafkaプロパティについては、Kafkaのドキュメントを参照してください。スクリプトではこれらのプロパティが検証されないため、ユーザの判断でプロパティとその値を設定してください。
メモ:SentinelサーバがKafkaクラスタ全体のすべてのKafkaブローカホスト名を有効なIPアドレスに解決できることを確認します。解決できるようDNSがセットアップされていない場合、Kafkaブローカホスト名をSentinelサーバの/etc/hostsファイルに追加します。
Elasticsearch: イベントデータだけをElasticsearchに移行できます。データを移行する前に、イベント視覚化が有効になっていることを確認します。詳細については、イベント視覚化の有効化を参照してください。
このスクリプトでは、指定した日付範囲(開始日と終了日)についてデータが転送されます。このスクリプトを実行すると、データマイグレーションを開始するために指定する必要がある必須およびオプションのパラメータ、および目的のデータストレージコンポーネントに使用する関連プロパティに関する情報が表示されます。
このスクリプトは、novellユーザとして実行する必要があります。そのため、指定するデータディレクトリやファイルに対する適切な許可がnovellユーザに与えられていることを確認してください。デフォルトでは、スクリプトはプライマリストレージからデータを移行します。セカンダリストレージからデータを移行する場合は、スクリプトの実行時にセカンダリストレージの適切なパスを指定します。
データを移行する方法:
Sentinelサーバにnovellユーザとしてログインします。
次のスクリプトを実行します。
/opt/novell/sentinel/bin/data_uploader.sh
画面の指示に従い、必要なパラメータを指定してもう一度スクリプトを実行します。
移行したデータには、ターゲットサーバで設定した保持期間が割り当てられます。
データマイグレーションが完了すると、正常に移行されたパーティション、移行に失敗したパーティション、移行されたイベント数などのステータスがスクリプトによって記録されます。前日および当日の日付のパーティションについては、遅れて到着するイベントを考慮に入れて、データ転送のステータスがIN_PROGRESSになります。
データマイグレーションが正常に完了しなかった場合や、パーティションのデータマイグレーションステータスがまだIN_PROGRESSを示している場合は、スクリプトを再度実行してください。スクリプトを再実行すると、まずステータスファイルを確認してすでに移行されたパーティションが把握され、残っているパーティションのみが移行されます。スクリプトは、トラブルシュートの目的で/var/opt/novell/sentinel/log/data_uploader.logディレクトリにログを保持します。