6.1 Überlegungen zum Datenspeicher

Zur Speicherung und Indexierung Ihrer Sentinel-Daten können Sie sich je nach EPS-Rate für herkömmlichen oder skalierbaren Speicher entscheiden. Ihre Entscheidung beeinflusst die Sentinel-Bereitstellung in Ihrer Umgebung.

Tabelle 6-1 Vergleich zwischen herkömmlichem und skalierbarem Speicher

Herkömmlicher Speicher

Skalierbarer Speicher

Daten werden in einem herkömmlichen dateibasierten Speicher abgelegt und lokal auf dem Sentinel-Server indexiert.

Daten werden in einem skalierbaren Hadoop-basierten Speicher abgelegt und mittels eines skalierbaren, verteilten Indexierungsmechanismus indexiert.

Nahtlose vertikale Skalierung auf ca. 20.000 EPS. Eine noch höhere EPS-Rate erfordert zusätzliche Sentinel-Server.

Nahtlose horizontale Skalierung für sehr hohe EPS-Raten, z. B. 1 Million Ereignisse pro Sekunde.

Der Lastausgleich bei der Datenerfassung erfolgt über mehrere Sentinel-Server. Somit werden die Daten auf mehrere Sentinel-Server verteilt und müssen dort individuell verwaltet werden.

Die Datenerfassung erledigt ein einziger Sentinel-Server. Somit erfolgt auch die Daten- und Ressourcenverwaltung zentral auf einem einzigen Sentinel-Server.

Die Daten werden auf dem Datenträger gemäß Mandant gekennzeichnet, aber nicht nach Mandant getrennt gespeichert.

Die Daten werden auf dem Datenträger gemäß Mandant gekennzeichnet und nach Mandant getrennt gespeichert.

Die Datenreproduktion und -verfügbarkeit muss entweder manuell oder per teuren Speichereinrichtungen wie SAN-Datenträgern sichergestellt werden.

Die Datenreproduktion und -verfügbarkeit ist erschwinglich, da Hadoop auf handelsüblicher Hardware ausgeführt wird.

6.1.1 Planen des herkömmlichen Speichers

Herkömmlicherweise werden Daten in einer Struktur mit drei Ebenen gespeichert:

Onlinespeicher

Primärspeicher, früher als „lokaler Speicher“ bezeichnet.

Für schnelles Schreiben und Abrufen optimiert. Speichert die zuletzt erfassten Ereignisdaten sowie die am häufigsten durchsuchten Ereignisdaten.

Sekundärspeicher, früher als „Netzwerkspeicher“ bezeichnet. (optional)

Optimiert für eine reduzierte Speicherplatzausnutzung auf eventuell preiswerteren Speichermedien, aber dennoch schnelles Abrufen. Sentinel migriert Datenpartitionen automatisch zum Sekundärspeicher.

HINWEIS:Die Verwendung des Sekundärspeichers ist fakultativ. Datenbeibehaltungsrichtlinien, Suchen und Berichte werden in den Ereignisdatenpartitionen unabhängig vom Speicherort (primärer oder sekundärer Speicher oder beide) ausgeführt.

Offlinespeicher

Archivierungsspeicher

Partitionen, die geschlossen werden, können Sie mit einem beliebigen Dateispeicherservice wie beispielsweise Amazon Glacier sichern. Sie können die Partitionen bei Bedarf für die Verwendung in Langzeituntersuchungen jederzeit vorübergehend wieder importieren.

Sie können Sentinel auch so konfigurieren, dass Ereignisdaten und Ereignisdatenzusammenfassungen unter Anwendung von Datensynchronisierungsrichtlinien zu einer externen Datenbank extrahiert werden. Weitere Informationen finden Sie unter Configuring Data Synchronization (Konfigurieren der Datensynchronisierung) im NetIQ Sentinel Administration Guide (NetIQ Sentinel 7.0.1-Administrationshandbuch).

Bei der Installation von Sentinel muss die Datenträgerpartition für den Primärspeicher am Sentinel-Installationsstandort eingehängt werden. Standardmäßig ist dies das Verzeichnis /var/opt/novell.

Um die richtige Berechnung der Datenträgerauslastung zu gewährleisten, muss sich die gesamte Verzeichnisstruktur im Verzeichnis /var/opt/novell/sentinel auf einer einzigen Datenträgerpartition befinden. Andernfalls werden Ereignisdaten möglicherweise vorzeitig durch die automatische Datenverwaltung gelöscht. Weitere Informationen zur Sentinel-Verzeichnisstruktur finden Sie unter Sentinel-Verzeichnisstruktur.

Es empfiehlt sich, dieses Datenverzeichnis in einer anderen Datenträgerpartition anzulegen als die Partition, in der die ausführbaren Dateien, die Konfigurations- und die Betriebssystemdateien gespeichert sind. Das separate Speichern von Variablendaten bietet den Vorteil einer einfacheren Sicherung von Dateisätzen, einer einfacheren Wiederherstellung im Falle einer Beschädigung und einer besseren Stabilität, falls die Datenträgerpartition aufgefüllt ist. Außerdem verbessert es die allgemeine Leistung in Systemen, in denen kleinere Dateisysteme effizienter sind. Weitere Informationen finden Sie unter Disk Partitioning (Festplattenpartitionierung).

HINWEIS:Bei ext3-Dateisystemen ist die Dateispeicherung eingeschränkt. Ein Verzeichnis kann maximal 32.000 Dateien oder Unterverzeichnisse enthalten. NetIQ empfiehlt die Verwendung des XFS-Dateisystems, wenn Sie eine große Zahl an Aufbewahrungsrichtlinien verwenden oder Daten über längere Zeit aufbewahren, beispielsweise für ein Jahr.

Partitionen in herkömmlichen Installationen

Bei herkömmlichen Installationen können Sie das Layout der Datenträgerpartition des Betriebssystems vor der Installation von Sentinel ändern. Der Administrator muss hierzu die gewünschten Partitionen erstellen und für die entsprechenden Verzeichnisse mounten. Dabei wird die in Sentinel-Verzeichnisstruktur beschriebene Verzeichnisstruktur verwendet. Beim Ausführen des Installationsprogramms wird Sentinel in die vorerstellten Verzeichnisse installiert. Die sich daraus ergebende Installation erstreckt sich über mehrere Partitionen.

HINWEIS:

  • Beim Ausführen des Installationsprogramms können Sie mit der Option --location einen anderen Standort der obersten Ebene als die Standardverzeichnisse zum Speichern der Datei angeben. Der Wert, den Sie an die Option --location weiterreichen, wird den Verzeichnispfaden vorangestellt. Wenn Sie beispielsweise --location=/foo angeben, ist das Datenverzeichnis /foo/var/opt/novell/sentinel/data und das Konfigurationsverzeichnis /foo/etc/opt/novell/sentinel/config.

  • Verwenden Sie keine Dateisystemverknüpfungen (zum Beispiel Softlinks) für die Option --location.

Partitionen bei Appliance-Installationen

Wenn Sie das DVD-ISO-Appliance-Format verwenden, können Sie die Partitionierung des Appliance-Dateisystems während der Installation gemäß den Anweisungen in den YaST-Bildschirmen konfigurieren. Sie können beispielsweise eine separate Partition für den Mountpunkt von /var/opt/novell/sentinel erstellen, um alle Daten in einer separaten Partition zu speichern. Für andere Appliance-Formate kann die Partitionierung erst nach der Installation konfiguriert werden. Mit dem SuSE Yast-Systemkonfigurationswerkzeug können Sie Partitionen hinzufügen und ein Verzeichnis zur neuen Partition hinzufügen. Weitere Informationen zum Erstellen von Partitionen nach der Installation finden Sie unter Erstellen von Partitionen für herkömmlichen Speicher.

Best Practices für Partitionslayouts

In vielen Organisationen stehen eigene, dokumentierte Empfehlungen für Partitionslayoutschemen zur Verfügung, die für alle installierten Systeme gelten. Die folgende Empfehlung für das Partitionslayout soll Organisationen, die keine definierten Richtlinien haben, als Leitfaden dienen. Sie geht von einer Sentinel-spezifischen Nutzung des Dateisystems aus. Im Allgemeinen befolgt Sentinel den Filesystem Hierarchy Standard, sofern dies umsetzbar ist.

Partition

Einhängepunkt

Größe

Notizen

root

/

100 GB

Enthält Betriebssystemdateien und Sentinel-Binärdaten/die Sentinel-Konfiguration.

Booten

/boot

150 MB

Bootpartition

Primärspeicher

/var/opt/novell/sentinel

Berechnung anhand der Informationen zur Systemauslegung

Dieser Bereich enthält die erfassten Sentinel-Primärdaten und andere variable Daten wie Protokolldateien. Diese Partition kann mit anderen Systemen gemeinsam verwendet werden.

Sekundärspeicher

Speicherort je nach Speichertyp (NFS, CIFS oder SAN).

Berechnung anhand der Informationen zur Systemauslegung

Dies ist der Sekundärspeicherbereich, der remote oder wie dargestellt lokal eingehängt werden kann.

Archivierungsspeicher

Remote-System

Berechnung anhand der Informationen zur Systemauslegung

Dies ist der Speicher für archivierte Daten.

6.1.2 Planen des skalierbaren Speichers

NetIQ erkennt das CDH-Framework (Distribution Including Apache Hadoop) von Cloudera zur Speicherung und Verwaltung großer Datenmengen an. Zur Ereignisindexierung nutzt Sentinel eine skalierbare, verteilte Indexierungs-Engine namens Elasticsearch von Elastic.

Die folgende Abbildung zeigt die diversen Komponenten skalierbaren Speichers:

Abbildung 6-1 Skalierbare Speicherarchitektur

  • Messaging: Sentinel verwendet Apache Kafka als skalierbares Nachrichtensystem zum Empfang normalisierter Ereignisse und Rohdaten von Collector Manager-Instanzen. Collector Manager-Instanzen senden Roh- und Ereignisdaten an Kafka-Cluster.

    Standardmäßig erstellt Sentinel die folgenden Kafka-Kategorien:

    • security.events.normalized: Speicherung aller verarbeiteten und normalisierten Ereignisdaten, darunter auch vom System erzeugte Ereignisse und interne Ereignisse

    • security.events.raw: Speicherung aller Rohdaten von den Ereignisquellen

    Ereignis- und Rohdaten entsprechen dem Apache Avro-Schema. Weitere Informationen finden Sie in der Apache Avro-Dokumentation. Die Schemadateien befinden sich im Verzeichnis /etc/opt/novell/sentinel/scalablestore.

  • Worker: Dieser Knoten hostet Echtzeitaufträge für die Verarbeitung und Speicherung. Apache Spark ermöglicht die Echtzeit-Datenverarbeitung in großem Maßstab, z. B. die nach Mandanten-ID getrennte Speicherung, die Anforderung großer Datenmengen, die Speicherung von Daten im „System of Record“ (SOR) und die skalierbare Indizierung.

    Apache HBase ist eine verteilte, skalierbare Datenbank auf Hadoop-Basis. Sie dient als SOR für normalisierte Ereignisse und Rohdaten, die darin nach Mandanten-ID getrennt gespeichert werden.

    Auf Basis der Mandanten-ID erstellt Sentinel für jeden Mandanten einen eigenen Namespace. Der Namespace des Standardmandanten lautet zum Beispiel „1“. Für jeden Namespace erstellt Sentinel die folgenden Tabellen und speichert Daten gemäß Ereigniszeitpunkt.

    • <Mandanten-ID>:security.events.normalized: Speicherung aller verarbeiteten und normalisierten Ereignisdaten, darunter auch vom System erzeugte Ereignisse und interne Ereignisse

    • <Mandanten-ID>:security.events.raw: Speicherung aller Rohdaten von den Ereignisquellen

  • Cluster-Management: Dieser Knoten hostet alle Master und Cluster-Management-Services. Apache ZooKeeper ist ein zentraler Service für die Pflege von Konfigurationsdaten, Benennungen, die verteilte Synchronisierung und die Bereitstellung von Gruppenservices.

  • Indizierung: Sentinel verwendet Elasticsearch als skalierbare und verteilte Indizierungs-Engine zum Indizieren von Ereignissen. Über Elasticsearch lassen sich Daten zur Suche und Visualisierung von Ereignissen nutzen.

    Sentinel erstellt für jeden Tag einen eigenen Index und ermittelt das Indexdatum unter Zuhilfenahme der koordinierten Weltzeit (UTC; Mitternacht bis Mitternacht). Der Indexname hat das Format security.events.normalized_jjjjMMtt. So umfasst der Index security.events.normalized_20160101 alle Ereignisse vom 1. Januar 2016. Für optimale Leistung indexiert Sentinel nur einige spezielle Ereignisfelder. Welche Ereignisfelder Elasticsearch indexieren soll, können Sie bearbeiten. Weitere Informationen finden Sie unter Performance Tuning in SSDM (Leistungsfeinabstimmung in SSDM) im NetIQ Sentinel Administration Guide (NetIQ Sentinel-Administrationshandbuch).

Konfiguration des skalierbaren Speichers

Wenn Sie den skalierbaren Speicher aktivieren, bietet die Benutzeroberfläche des Sentinel-Servers nur noch Optionen für einige der Sentinel-Funktionen, wie Datenerfassung, Korrelation, Ereignis-Routing, Suche und Visualisierung von Ereignissen und Erledigung bestimmter administrativer Aufgaben. Diese verschlankte Version von Sentinel wird als SSDM (Sentinel Scalable Data Manager – skalierbarer Datenmanager) bezeichnet. Um Sentinel-Funktionen wie die Sicherheitsintelligenz und die konventionelle Suche und Berichterstellung zu nutzen, müssen Sie separate Sentinel-Instanzen installieren und für herkömmlichen Speicher konfigurieren. Leiten Sie dann per Sentinel Link bestimmte Ereignisdaten von SSDM zu Sentinel weiter.

Die folgende Liste enthält Informationen zu den Services und Funktionen, die in SSDM nicht verfügbar sind:

  • Berichte

  • Sicherheitsintelligenz

  • Ausführen von Ereignisvorgängen während der Suche

  • Testen von Korrelationsregeln

  • Erstellung und Verwaltung von Vorfällen

  • Manuelles Ausführen von Aktionen für Ereignisse

  • Datensynchronisierung

  • iTRAC-Workflows

  • Forensische Analyse von Ereignissen, die das korrelierte Ereignis auslösen

  • Anzeigen von Ereignisanlagen für Secure Configuration Manager- und Change Guardian-Ereignisse

Der skalierbare Speicher lässt sich nur einmal aktivieren; die Entscheidung ist unumkehrbar. Wenn Sie den skalierbaren Speicher deaktivieren und zum herkömmlichen Speicher wechseln möchten, müssen Sie Sentinel neu installieren.

Die folgende Checkliste enthält allgemeine Informationen zu den Aufgaben bei der Konfiguration des skalierbaren Speichers:

Tabelle 6-2 Checkliste für die Konfiguration des skalierbaren Speichers

 

Aufgaben

Erklärt in

Lesen Sie die Bereitstellungsinformationen im Hinblick auf das Verfahren bei Verwendung von Sentinel mit skalierbarem Speicher.

Drei-Ebenen-Bereitstellung mit skalierbarem Speicher

Prüfen Sie, ob alle Voraussetzungen erfüllt sind, und führen Sie alle erforderlichen Aktionen durch.

Abschnitt 12.0, Installation und Einrichtung von skalierbarem Speicher.

Aktivieren Sie den skalierbaren Speicher.

Sie können den skalierbaren Speicher sowohl während als auch nach der Installation aktivieren.

In Aufrüstungsinstallationen können Sie den skalierbaren Speicher erst nach der Aufrüstung von Sentinel aktivieren.

Um den skalierbaren Speicher während der Installation zu aktivieren, führen Sie eine benutzerdefinierte Installation von Sentinel durch. Weitere Informationen hierzu finden Sie in Angepasste Sentinel-Serverinstallation.

Zur Aktivierung des skalierbaren Speichers nach der Installation oder nach einer Aufrüstung beachten Sie die Informationen unter Enabling Scalable Storage Post-Installation(Aktivieren des skalierbaren Speichers nach der Installation) im NetIQ Sentinel Administration Guide (NetIQ Sentinel-Administrationshandbuch).

Konfigurieren Sie die CDH-Komponenten und Elasticsearch mit Sentinel.

Configuring Scalable Storage (Konfigurieren des skalierbaren Speichers) im NetIQ Sentinel Administration Guide (NetIQ Sentinel-Administrationshandbuch).

6.1.3 Sentinel-Verzeichnisstruktur

Standardmäßig befinden sich die Sentinel-Verzeichnisse an folgenden Standorten:

  • Die Datendateien befinden sich in den Verzeichnissen /var/opt/novell/sentinel/data und /var/opt/novell/sentinel/3rdparty.

  • Die ausführbaren Dateien und Bibliotheken befinden sich im Verzeichnis /opt/novell/sentinel/..

  • Die Protokolldateien befinden sich im Verzeichnis /var/opt/novell/sentinel/log.

  • Temporäre Dateien befinden sich im Verzeichnis /var/opt/novell/sentinel/tmp.

  • Die Konfigurationsdateien befinden sich im Verzeichnis /etc/opt/novell/sentinel/.

  • Die Prozess-ID-Datei (PID-Datei) befindet sich im Verzeichnis /home/novell/sentinel/server.pid.

    Mit der PID können Administratoren den übergeordneten Prozess des Sentinel-Servers identifizieren und den Prozess überwachen oder beenden.