6.1 資料儲存考量

您可以根據 EPS 率，選擇使用傳統儲存或可擴充儲存來儲存 Sentinel 資料並為其編製索引。您的 Sentinel 部署視您選擇使用的資料儲存選項而定。

表 6-1 傳統儲存和可擴充儲存比較

傳統儲存

可擴充儲存

在檔案式傳統儲存中儲存資料，並在 Sentinel 伺服器上本機編製索引。

在 Hadoop 式可擴充儲存中儲存資料，並使用可擴充分散式索引機制編製資料索引。

無縫擴展到約 20000 EPS。此外，必須新增額外 Sentinel 伺服器才能擴充至更高的 EPS。

無縫擴充至非常高的 EPS，例如每秒 1 百萬個事件。

資料集合會跨數部 Sentinel 伺服器負載平衡。因此，資料會分散在不同的 Sentinel 伺服器中，且可個別管理。

資料集合會由單一 Sentinel 伺服器管理。因此，資料管理和資源管理集中於單一 Sentinel 伺服器。

將資料標記為與租用戶相關，但未在磁碟上因此進行分隔。

將資料標記為與租用戶相關，且在磁碟上因此進行分隔。

必須手動或使用昂貴的儲存機制 (例如 SAN 磁碟) 完成資料複製和可用性。

由於 Hadoop 在一般硬體上執行，因此資料複製和可用性具成本效益。

6.1.1 傳統儲存規劃

傳統資料儲存位置有三層結構：

線上儲存

主要儲存，先前又稱本地儲存。

最佳化快速寫入和快速取回。儲存最近收集到的事件資料，和最常搜尋到的事件資料。

次要儲存，先前又稱網路儲存。(optional)

最佳化以縮小在較便宜儲存上的空間使用，同時仍支援快速取回。Sentinel 會將資料分割區自動移轉到次要儲存。

附註：您可選擇使用次要儲存。資料保留規則、搜尋和報告會在事件資料分割區上作業，不論是存在於主要或次要儲存 (或兩者皆是) 上。

離線儲存

歸檔儲存

分割區關閉時，您可以將分割區備份至任何檔案儲存服務，例如 Amazon Glacier。只要有需要，您都能暫時重新匯入分割區以供長期鑑識分析使用。

您也可以使用資料同步規則，設定 Sentinel 將事件資料和事件資料摘要擷取到外部資料庫。如需詳細資訊，請參閱《NetIQ Sentinel 管理指南》中的「設定資料同步化」。

安裝 Sentinel 時，您必須將主要儲存的磁碟分割區掛接在將安裝 Sentinel 的位置上，預設位在 /var/opt/novell 目錄。

在 /var/opt/novell/sentinel 目錄下的整個目錄結構必須位在單一磁碟分割區上，以確保能進行正確的磁碟使用量計算。否則，自動資料管理能力可能會過早刪除事件資料。如需有關 Sentinel 目錄結構的詳細資訊，請參閱節 6.1.3, Sentinel 目錄結構。

最佳作法是確認此資料目錄所在儲存位置，與可執行檔、組態和作業系統檔案位在不同的磁碟分割區上。分開儲存變數資料的優點包括易於備份檔案組合，也更容易復原損壞，並可在磁碟分割區滿載時提供額外加強。如此也能提升系統的整體效能，因為越小的檔案系統效率也越高。如需詳細資訊，請參閱「磁碟分割」。

附註：ext3 檔案系統中有檔案儲存的限制，讓目錄中的檔案或子目錄不能超過 32000 個。如果您會有大量的保留原則或是將長期保留資料，例如一年，NetIQ 建議您使用 XFS 檔案系統。

在傳統安裝中使用分割區

在傳統安裝上，您可以在安裝 Sentinel 前修改作業系統的磁碟分割區配置。管理員應依據「節 6.1.3, Sentinel 目錄結構」所述的目錄結構在適當的目錄中建立需要的分割區，並加以掛接。在執行安裝程式時，系統會將 Sentinel 安裝在預先建立的目錄中，使安裝作業得以涵蓋多個分割區。

附註：

  • 在執行安裝程式時，您可以使用「--location」選項，指定非預設目錄的最上層位置來儲存檔案。傳遞至 --location 選項的值會加在目錄路徑的前面。例如，如果您指定 --location=/foo，資料目錄將會是 /foo/var/opt/novell/sentinel/data，而組態目錄將會是 /foo/etc/opt/novell/sentinel/config。

  • 請勿將檔案系統連結 (如軟連結) 用於「--location」選項。

在裝置安裝中使用分割區

如果您使用的是 DVD ISO 裝置格式，您可在安裝期間依照 YaST 畫面中的指示設定裝置檔案系統的分割。例如，您可以為 /var/opt/novell/sentinel 掛接點建立不同的分割區，以將所有資料放在不同的分割區上。不過，若是其他裝置格式，您只能在安裝後才設定分割。您可以透過使用 SuSE YaST 系統設定工具來新增分割區並將目錄移至新的分割區。如需在安裝後才建立分割區的詳細資訊，請參閱節 14.3.2, 建立傳統儲存的分割區。

分割區配置最佳實務

許多組織對於任何已安裝的系統都擁有自己記錄的最佳實務分割區配置規劃。以下分割區提案可用來引導尚未定義任何政策，並考慮採用 Sentinel 特定檔案系統用途的組織。一般來說，Sentinel 支援檔案系統階層標準 (如適用)。

分割區

裝置點

大小

附註

Root

/

100 GB

包含作業系統檔案和 Sentinel 二進位/組態。

開機

/boot

150 MB

開機分割區

暫存

/tmp

30 GB

作業系統暫存檔案的位置。

主要儲存

/var/opt/novell/sentinel

以系統調整大小資訊計算。

這個區域將包含 Sentinel 收集的主要資料，加上其他變數資料，例如記錄檔案。這個分割區將與其他系統共享。

次要儲存

位置會依據儲存類型、NFS、CIFS 或 SAN。

以系統調整大小資訊計算。

這是次要儲存區域，可依顯示方式在本地或遠端掛接。

歸檔儲存

遠端系統

以系統調整大小資訊計算。

這個儲存用於歸檔資料。

6.1.2 可擴充儲存規劃

NetIQ 認證 Cloudera Distribution Including Apache Hadoop (CDH) 架構可儲存和管理大型資料。針對編製事件索引，Sentinel 使用 Elastic 所提供可擴充且分散式的索引引擎 Elasticsearch。

下圖說明可擴充儲存中使用的各種元件：

圖 6-1 可擴充儲存架構

  • Kafka： Apache Kafka 是可擴充訊息系統，可接收來自 Collector Manager 的標準化事件和原始資料。Collector Manager 會將原始資料和事件資料傳送至 Kafka 叢集。

    依預設，Sentinel 會建立下列 Kafka 主題：

    • security.events.normalized： 儲存所有已處理和標準化的事件資料，包括系統產生的事件和內部事件。

    • security.events.raw： 儲存來自事件來源的所有原始資料。

    事件和原始資料會遵循 Apache Avro 綱要。如需詳細資訊，請參閱 Apache Avro 文件。您可以在 /etc/opt/novell/sentinel/scalablestore 目錄中取得網要檔案。

  • Spark： Apache Spark 引擎可即時進行大規模資料處理，例如根據租用戶 ID 分離事件，要求大量資料和儲存資料至記錄系統 (SOR) 和可調整索引。

  • HBase： Apache HBase 是分散式且可擴充的 Hadoop 式資料儲存。針對標準化事件和原始資料做為 SOR 使用，且依租用戶 ID 分隔。

    根據租用戶 ID，Sentinel 會為每個租用戶建立個別名稱空間。例如，預設租用戶的名稱空間為 1。在每個名稱空間下，Sentinel 會根據事件時間建立下列表格並儲存資料。

    • <tenant_ID>:security.events.normalized: 儲存所有已處理和標準化的事件資料，包括系統產生的事件和內部事件。

    • <tenant_ID>:security.events.raw: 儲存來自事件來源的所有原始資料。

  • ZooKeeper： Apache ZooKeeper 可做為維護組態資訊、命名服務、提供分散式同步化和提供群組服務的集中式服務。

  • Elasticsearch： Elasticsearch 是用於編製事件索引的可擴充且分散式的索引引擎。您可以從 Elasticsearch 存取資料，以進行事件搜尋和視覺化。

    Sentinel 每天都會建立專屬索引，並使用 UTC 時區 (午夜到午夜) 以計算索引日期。索引名稱格式為 security.events.normalized_yyyyMMdd。例如，索引 security.events.normalized_20160101 包含事件時間為 2016 年 1 月 1 日的所有事件。為了提供最佳效能，Sentinel 只會編製某些特定事件欄位的索引。您可以修改要讓 Elasticsearch 編製索引的事件欄位。如需詳細資訊，請參閱《NetIQ Sentinel 管理指南》中的「SSDM 中的效能調整」。

可擴充儲存組態

啟用可擴充儲存時，Sentinel 伺服器會將使用者介面限制為僅供管理資料集合和事件路由、搜尋和視覺化事件，以及執行某些管理活動。Sentinel 的精簡功能版本稱為 Sentinel 可擴充資料管理員 (SSDM)。如需其他 Sentinel 功能 (例如，即時分析和基本搜尋和報告)，您必須安裝具有傳統資料儲存的 Sentinel 個別例項，並使用 Sentinel Link 將特定事件資料從 SSDM 路由至 Sentinel。

啟用可擴充儲存是無法還原的一次性組態。如果您想要停用可擴充儲存並切換至傳統儲存，則必須重新安裝 Sentinel，並不要在安裝期間選擇可擴充儲存。

針對 Sentinel 的傳統安裝，您可以在安裝期間或後續安裝工作中啟用可擴充儲存。針對 Sentinel 的裝置安裝，您只能在安裝後啟用可擴充儲存。

下列核對清單提供設定可擴充儲存時，需要執行之任務的相關高階資訊：

表 6-2 可擴充儲存組態核對清單

 

任務

請參閱

 

檢閱部署資訊以瞭解部署具有可擴充儲存的 Sentinel 部署時，所需的項目。

節 6.7, 具有可擴充儲存的三層部署

 

檢閱先決條件並完成所有必要任務。

節 12.0, 安裝和設定可擴充儲存。

 

啟用可擴充儲存。

您可以在安裝期間或後續安裝工作中，啟用可擴充儲存。

若要在安裝期間啟用可擴充儲存，請執行 Sentinel 自定安裝。請參閱節 13.2.2, Sentinel Server 自定安裝。

若要在後續安裝工作中啟用可擴充儲存，請參閱《NetIQ Sentinel 管理指南》中的「在後續安裝工作中啟用可擴充儲存」。

 

透過 Sentinel 設定 CDH 元件和 Elasticsearch。

《NetIQ Sentinel 管理指南》中的「設定可擴充儲存」。

6.1.3 Sentinel 目錄結構

依預設，Sentinel 目錄位於下列位置：

  • 資料檔案位於 /var/opt/novell/sentinel/data 與 /var/opt/novell/sentinel/3rdparty 目錄。

  • 可執行檔和程式庫儲存在 /opt/novell/sentinel 目錄中.

  • 記錄檔案位於 /var/opt/novell/sentinel/log 目錄中。

  • 暫存檔案位於 /var/opt/novell/sentinel/tmp 目錄中。

  • 組態檔案位於 /etc/opt/novell/sentinel 目錄中。

  • 程序 ID (PID) 檔案位於 /home/novell/sentinel/server.pid 目錄中。

    管理員能使用 PID 來識別 Sentinel 伺服器的父代程序，以及監控或終止程序。