29.3 迁移事件数据和原始数据

您可以使用 scalablestorage_data_uploader.sh 脚本将事件数据和原始数据从源服务器迁移到可缩放讯息交换系统。针对事件数据和原始数据单独运行脚本。脚本将数据上载到 Kafka 主题。脚本传输您指定日期范围(起止日期)内的数据。运行脚本之后,脚本显示您为了启动数据上载而应该指定的强制参数和可选参数。

必须以 novell 用户身份运行脚本。因此,确保 novell 用户对您指定的数据目录和所有文件具有相应权限。

您可以指定自定义,如上载期间压缩数据、批量发送数据等等。要指定这些自定义,请创建属性文件,并以健值格式添加所需的属性。比如,您可以按下列方式添加属性:

compression.type=lz4

batch.size=20000

注:关于 Kafka 属性的信息,请参见 Kafka 文档。自行设置属性和属性值,因为脚本不会验证这些属性。

默认情况下,脚本上载来自主要储存的数据。如果您想要上载来自二级储存的数据,运行脚本时为二级储存指定相应路径。

要上载事件数据和原始数据:

  1. 以 Novell 用户身份登录 Sentinel 服务器。

  2. 运行以下脚本:

    /opt/novell/sentinel/bin/scalablestorage_data_uploader.sh

  3. 遵照屏幕指导,用所需参数再次运行脚本。

上载事件数据和原始数据将有一个保留期限,如目标服务器中所设置。

数据上载完成之后,脚本会记录状态,如成功上载的分区、上载失败的分区、上载事件的数量等等。对于具有当前日期及前一天日期的分区,数据传输状态显示 IN_PROGRESS,该状态考虑到稍后可能进来的事件。

在数据上载未成功完成或分区数据上载状态仍显示 IN_PROGRESS 的情况下重新运行脚本。重新运行脚本之后,会首先检查状态文件以了解已上载的分区情况,然后继续只上载未上载的部分。脚本将日志保留在 /var/opt/novell/sentinel/log/scalablestorage_data_uploader.log 目录下,便于故障排除。