34.0 迁移数据

您可以使用 data_uploader.sh 脚本将数据迁移到下列任意一个数据储存组件:

  • Kafka: 您可以将事件数据和原始数据迁移至 Kafka。针对事件数据和原始数据单独运行脚本。脚本将数据迁移至 Kafka 主题。

    您可以指定自定义,例如在迁移过程中压缩数据、分批发送数据等。要指定这些自定义,请创建属性文件,并以健值格式添加所需的属性。比如,您可以按下列方式添加属性:

    compression.type=lz4

    batch.size=20000

    关于 Kafka 属性的信息,请参见 Kafka 文档。自行设置属性和属性值,因为脚本不会验证这些属性。

    注:确保 Sentinel 服务器能够将所有 Kafka 中介程序主机名解析对整个 Kafka 群集有效的 IP 地址。如果 DNS 未设置为启用此功能,可将 Kafka 中介程序主机名添加到 Sentinel 服务器的 /etc/hosts 文件中。

  • Elasticsearch: 您可以仅将事件数据迁移至 Elasticsearch。迁移数据前,确保已启用事件可视化。有关详细信息,请参见启用事件可视化

脚本传输您指定日期范围(起止日期)内的数据。运行脚本时,将显示启动数据迁移应指定的必需和可选参数,以及将用于所需数据储存组件的相关属性信息。

必须以 novell 用户身份运行脚本。因此,确保 novell 用户对您指定的数据目录和所有文件具有相应权限。默认的情况下,脚本从主要储存迁移数据。如果想要从二级储存迁移数据,运行脚本时指定二级储存的相应路径。

要迁移数据:

  1. 以 Novell 用户身份登录 Sentinel 服务器。

  2. 运行以下脚本:

    /opt/novell/sentinel/bin/data_uploader.sh

  3. 遵照屏幕指导,用所需参数再次运行脚本。

迁移数据的保留期将如目标服务器中所设置。

数据迁移完成后,脚本将记录状态,例如分区成功迁移、分区迁移失败、迁移的事件数量等。对于具有当前日期及前一天日期的分区,数据传输状态显示 IN_PROGRESS,该状态考虑到稍后可能进来的事件。

数据迁移未成功完成或分区的数据迁移状态仍显示 IN_PROGRESS 的情况下重新运行脚本。重新运行脚本时,它将首先检查状态文件以了解已经迁移的分区,然后再继续仅迁移剩余分区。脚本将日志保存在 /var/opt/novell/sentinel/log/data_uploader.log 目录下以方便查错。