イベントデータと生データをソースサーバからスケーラブルメッセージングシステムに移行するには、scalablestorage_data_uploader.shスクリプトを使用することができます。イベントデータと生データに対して、このスクリプトを別個に実行する必要があります。このスクリプトでは、データがKafkaトピックにアップロードされます。このスクリプトでは、指定した日付範囲(開始日と終了日)についてデータが転送されます。スクリプトを実行すると、データのアップロードを開始するために指定する必要がある必須およびオプションのパラメータが表示されます。
このスクリプトは、novellユーザとして実行する必要があります。そのため、指定するデータディレクトリやファイルに対する適切な許可がnovellユーザに与えられていることを確認してください。
アップロード時のデータ圧縮や、データのバッチ送信など、カスタマイズ設定を指定することができます。こうしたカスタマイズ設定を指定するには、プロパティファイルを作成し、キーと値の形式で必要なプロパティを追加してください。たとえば、次のようにプロパティを追加することができます。
compression.type=lz4
batch.size=20000
メモ:Kafkaプロパティについては、Kafkaのドキュメントを参照してください。スクリプトではこれらのプロパティが検証されないため、ユーザの判断でプロパティとその値を設定してください。
デフォルトでは、スクリプトはプライマリストレージからデータをアップロードします。セカンダリストレージからデータをアップロードする場合は、スクリプトの実行時にセカンダリストレージの適切なパスを指定します。
イベントデータと生データをアップロードするには:
Sentinelサーバにnovellユーザとしてログインします。
次のスクリプトを実行します。
/opt/novell/sentinel/bin/scalablestorage_data_uploader.sh
画面の指示に従い、必要なパラメータを指定してもう一度スクリプトを実行します。
アップロードしたイベントおよび生データには、ターゲットサーバで設定した保持期間が割り当てられます。
データのアップロードが完了すると、正常にアップロードされたパーティション、アップロードに失敗したパーティション、アップロードされたイベント数などのステータスがスクリプトによって記録されます。前日および当日の日付のパーティションについては、遅れて到着するイベントを考慮に入れて、データ転送のステータスがIN_PROGRESSになります。
データのアップロードが正常に完了しなかった場合や、パーティションのデータアップロードステータスがまだIN_PROGRESSを示している場合は、スクリプトを再度実行してください。スクリプトを再実行すると、まずステータスファイルを確認してすでにアップロードされたパーティションが把握され、残っているパーティションのみがアップロードされます。スクリプトは、トラブルシューティングの目的で/var/opt/novell/sentinel/log/scalablestorage_data_uploader.logディレクトリにログを保持します。