30.4 Sentinel Scalable Data Manager 升级后配置

30.4.1 安装 Elasticsearch 安全插件

除外部 Elasticsearch 节点外,Sentinel 现在还默认包含一个用于数据可视化的本地 Elasticsearch 节点。因此,您必须为本地 Elasticsearch 安装一个 Elasticsearch 插件。 有关详细信息,请参见安装 Elasticsearch 安全插件。

由于 Sentinel 中使用的 Elasticsearch 和 Kibanaare 得到升级,您必须重新部署现有 Elasticsearch 节点的所有 Elasticsearch 安全插件。有关重新部署 Elasticsearch 安全插件的更多信息,请参见部署 Elasticsearch 安全插件。

30.4.2 在 YARN 中更新 Spark 应用程序

Sentinel 升级期间,也会更新一些 Spark 应用程序文件。您必须通过执行以下步骤重新提交含这些更新文件的 Spark 应用程序:

  1. 以 novell 用户身份登录到 SSDM 服务器并将文件复制到安装了 HDFS NameNode 的 Spark 历史服务器:

    cd /etc/opt/novell/sentinel/scalablestore

    scp SparkApp-*.jar avroevent-*.avsc avrorawdata-*.avsc spark.properties log4j.properties manage_spark_jobs.sh root@<hdfs_node>:<destination_directory>

    其中,<destination_directory> 是您想要放置复制文件的目录。此外,确保 hdfs 用户具有此目录的全部权限。

  2. 以 root user 身份登录到 <hdfs_node> 服务器并将复制文件所有权改为 hdfs 用户:

    cd <destination_directory>

    chown hdfs SparkApp-*.jar avroevent-*.avsc avrorawdata-*.avsc spark.properties log4j.properties manage_spark_jobs.sh

    向 manage_spark_jobs.sh 脚本指派可执行许可权限。

  3. 确保 Spark 作业已处理完所有数据:

    转到 YARN ResourceManager Web 用户界面并查看每个 Sentinel Spark 应用程序。当通过 Kafka 处理了所有数据后,Spark Streaming 应用程序数据将显示输入率降为零。

  4. 运行以下命令停止数据处理:

    。/manage_spark_jobs.sh stop

  5. 清除数据处理检查点:

    sudo -u hdfs hadoop fs -rm -R -skipTrash  /spark/checkpoint

    其中 /spark/checkpoint 是检查点目录。

  6. 运行以下脚本重新提交 Spark 作业:

    。/manage_spark_jobs.sh start

    上述命令完成提交过程需要一些时间。

  7. (可选)运行以下命令以校验提交的 Spark 作业的状态:

    。/manage_spark_jobs.sh status

  8. 继续将事件转发到 Kafka 以便 Spark 开始处理事件:

    1. 在 Sentinel 主界面,单击储存 > 可缩放储存 > 高级配置 > Kafka。

    2. 将以下属性设置为 false:

      pause.events.tokafka

    3. 单击保存。

30.4.3 启用 Sentinel 功能

从 SSDM 8.0.x.x 升级之后,Sentinel 8.1 及更高版本中添加的某些 Sentinel 功能默认情况下不可用。您必须在 /etc/opt/novell/sentinel/config/ui-configuration.properties 文件中手动启用这些功能。

  1. 以 novell 用户身份登录到 Sentinel 服务器。

  2. 打开 /etc/opt/novell/sentinel/config/ui-configuration.properties 文件。

  3. 将以下属性改为 false:

    alerts.hideUI
    solutionDesigner.launcher.hideUI
    correlation.hideUI
    scc.configurations.solutionPacks.hideUI
    people.hideUI
    permission.knowledgeBase.hideUI
    scc.menuBarItem.toolsMenu.hideUI
    scc.toolBarItem.peopleBrowser.hideUI
    integration.hideUI
  4. 刷新 Sentinel 浏览器。

30.4.4 在 Sentinel Scalable Data Manager 中更新仪表板和可视化项

升级 SSDM 后必须更新仪表板和可视化,这样才会应用仪表板和可视化最新版本中所包含的增强功能。

升级 SSDM 后,在默认情况下,将不更新仪表板和可视化项。但是,您可以在升级后手动更新这些内容。您可以通过以下方式更新仪表板和可视化项:删除现有的仪表板和可视化项,然后运行 load_kibana_data.sh 脚本,该脚本将安装最新的仪表板和可视化项。

重要说明:在更新仪表板和可视化项时,可能已在仪表板和可视化项中完成的自定义项将会丢失。

要更新仪表板和可视化项,请执行以下操作:

  1. 登录到 SSDM Web 界面,然后转到“事件可视化”。

  2. 在“事件可视化”中,转到设置 > 对象 > 仪表板。

  3. 选择要更新的仪表板,然后单击删除。

  4. 单击可视化项。选择要更新的可视化项,然后单击删除。

  5. 注销 SSDM Web 界面。

  6. 以 novell 用户身份登录 SSDM 服务器。

  7. 转到 /opt/novell/sentinel/bin 目录。

  8. 使用以下命令运行 load_kibana_data.sh:

    。/load_kibana_data.sh http://<ip address>:<port>> <alerts/events/misc>

    例如:

    。/load_kibana_data.sh http://127.0.0.1:9200 alerts

    ./load_kibana_data.sh http://127.0.0.1:9200 events

  9. 登录到 SSDM Web 界面,然后转到“事件可视化”,以查看更新的仪表板和可视化项。