6.1 Consideraciones de almacenamiento de datos

Dependiendo de la tasa de EPS, se puede optar por utilizar el almacenamiento tradicional o el almacenamiento ampliable para almacenar e indexar los datos de Sentinel. La implantación de Sentinel dependerá de la opción de almacenamiento de datos que decida utilizar.

Tabla 6-1 Comparación entre almacenamiento tradicional y almacenamiento ampliable

Almacenamiento tradicional	Almacenamiento ampliable
Los datos se almacenan en el almacenamiento tradicional basado en archivos y la indexación se realiza localmente en el servidor de Sentinel.	Los datos se almacenan en el almacenamiento ampliable basado en Hadoop y utilizan un mecanismo de indexación distribuido y ampliable para indexar los datos.
Se amplía sin problemas hasta aproximadamente 20 000 EPS. Para poder ampliar hasta valores de EPS más altos, debe añadir servidores Sentinel adicionales.	Se amplía sin problemas hasta un valor muy alto de EPS; por ejemplo, 1 millón de eventos por segundo.
La recopilación de datos se basa en una carga equilibrada entre los diferentes servidores de Sentinel. Por lo tanto, los datos se distribuyen entre los distintos servidores de Sentinel y deben gestionarse por separado.	La recopilación de datos se gestiona a través de un único servidor de Sentinel. Por lo tanto, la gestión de datos y recursos se realiza de forma centralizada en un único servidor de Sentinel.
Los datos se etiquetan en relación con los arrendatarios, pero estos no se tienen en cuenta a la hora de segregar los datos en el disco.	Los datos se etiquetan y se segregan en el disco teniendo en cuenta a los arrendatarios.
La disponibilidad y la réplica de datos deben realizarse manualmente o mediante el uso de mecanismos de almacenamiento costosos como un disco SAN.	La disponibilidad y la réplica de datos son rentables debido a que Hadoop funciona con hardware no especializado.

6.1.1 Planificación para el almacenamiento tradicional

La estructura del almacenamiento de datos tradicional se compone de tres niveles:

Almacenamiento en línea	Almacenamiento principal, antes llamado almacenamiento local.	Optimizado para escribir y recuperar datos de forma rápida. Almacena los datos de eventos recopilados más recientemente y los datos de eventos buscados con más frecuencia.
	Almacenamiento secundario, antes llamado almacenamiento en red. (optional)	Está optimizado para reducir el uso del espacio en un almacenamiento menos costoso, que aún permite una rápida recuperación. Sentinel migra de forma automática las particiones de datos al almacenamiento secundario.
	NOTA:El uso del almacenamiento secundario es opcional. Las directivas de retención de datos, las búsquedas y los informes operan en las particiones de datos de eventos independientemente de si residen en el almacenamiento principal, secundario o en ambos.
Almacenamiento sin conexión	Almacenamiento de archivado	Cuando las particiones están cerradas, se puede hacer una copia de seguridad de la partición en cualquier servicio de almacenamiento de archivos, como Amazon Glacier. Puede volver a importar las particiones de forma temporal para llevar a cabo análisis forenses a largo plazo siempre que sea necesario.

También puede configurar Sentinel para extraer datos de eventos y resúmenes de datos de eventos a una base de datos externa mediante el uso de directivas de sincronización de datos. Para más información, consulte la sección Configuring Data Synchronization (Cómo configurar la sincronización de datos) de la NetIQ Sentinel Administration Guide (Guía de administración de NetIQ Sentinel).

Al instalar Sentinel, debe montar la partición del disco para almacenamiento principal en la ubicación en la que se instalará Sentinel, por defecto, el directorio /var/opt/novell.

Toda la estructura del directorio /var/opt/novell/sentinel debe residir en una misma partición de disco para garantizar que se realicen los cálculos de utilización de disco correctos. De lo contrario, las funciones de gestión automática de datos podrían eliminar los datos de eventos de forma prematura. Para obtener más información sobre la estructura de directorios de Sentinel, consulte el Estructura de directorios de Sentinel.

Una práctica óptima consiste en asegurarse de que este directorio de datos esté ubicado en una partición de disco separada de la de los archivos ejecutables, de configuración y del sistema operativo. Las ventajas de almacenar los datos variables por separado son la mayor facilidad de realizar copias de seguridad de los conjuntos de archivos, la recuperación más sencilla en caso de que se dañen los datos, y además fortalece el sistema en caso de que una partición se llene por completo. Además, mejora el rendimiento general de los sistemas donde los sistemas de archivos más pequeños son más eficientes. Para obtener más información, consulte este artículo sobre la creación de particiones de disco.

NOTA:Los sistemas de archivos de ext3 tienen un límite para el almacenamiento de archivos, lo cual impide que un directorio tenga más de 32000 archivos o subdirectorios. NetIQ le recomienda utilizar el sistema de archivos XFS si prevé tener un gran número de directivas de retención o si va a retener los datos durante períodos de tiempo más largos (un año, por ejemplo).

Uso de particiones en instalaciones tradicionales

En las instalaciones tradicionales, puede modificar la disposición de particiones de disco del sistema operativo antes de instalar Sentinel. El administrador debe crear y montar las particiones deseadas en los directorios adecuados, en función de la estructura de directorios que se describe en la Estructura de directorios de Sentinel. Al ejecutar el instalador, Sentinel se instala en los directorios creados previamente, lo que da lugar a una instalación que abarca varias particiones.

NOTA:

Puede usar la opción--location mientras ejecuta el instalador para especificar una ubicación de nivel superior diferente de los directorios por defecto para almacenar el archivo. El valor que asigne a la opción --location se antepone a las vías de los directorios. Por ejemplo, si especifica --location=/foo, el directorio de datos será /foo/var/opt/novell/sentinel/data y el directorio de configuración será /foo/etc/opt/novell/sentinel/config.
No debe usar enlaces al sistema de archivos (por ejemplo, enlaces condicionales) para la opción --location.

Uso de particiones en instalaciones de dispositivos

Si utiliza el formato de dispositivo ISO DVD, puede configurar la partición del sistema de archivos del dispositivo durante la instalación siguiendo las instrucciones que se muestran en las pantallas de YaST. Por ejemplo, puede crear una partición separada para el punto de montaje /var/opt/novell/sentinel para poner todos los datos en una partición separada. Sin embargo, para otros formatos de dispositivo, puede configurar las particiones solamente después de la instalación. Puede añadir particiones y mover un directorio a la nueva partición utilizando la herramienta de configuración del sistema SuSE YaST. Para obtener más información sobre la creación de particiones después de la instalación, consulte la Creación de particiones de almacenamiento tradicional.

Mejores prácticas para la disposición de particiones

Muchas organizaciones tienen sus propios esquemas documentados de prácticas óptimas de disposición de particiones para cualquier sistema instalado. La siguiente propuesta de partición tiene como fin orientar a las organizaciones sin directivas definidas y tiene en cuenta el uso específico del sistema de archivos de Sentinel. Por lo general, Sentinel cumple el Estándar de jerarquía del sistema de archivos cuando resulta viable.

Partición	Punto de montaje	Tamaño	Notas
Root	/	100 GB	Contiene archivos del sistema operativo y binarios/configuración de Sentinel.
Boot	/boot	150 MB	Partición de arranque
Almacenamiento principal	/var/opt/novell/sentinel	Calcular utilizando la Información sobre tamaño del sistema.	Esta sección incluirá los datos principales recopilados por Sentinel y otros datos variables, como archivos de registro. Esta partición puede compartirse con otros sistemas.
Almacenamiento secundario	Ubicación basada en el tipo de almacenamiento, NFS, CIFS o SAN.	Calcular utilizando la Información sobre tamaño del sistema.	Área de almacenamiento secundario, que puede montarse a nivel local tal como se indica o de forma remota.
Almacenamiento de archivado	Sistema remoto	Calcular utilizando la Información sobre tamaño del sistema.	Este almacenamiento es para datos archivados.

6.1.2 Planificación para el almacenamiento ampliable

NetIQ certifica el marco de distribución de Cloudera que incluye Apache Hadoop (CDH) para almacenar y gestionar un gran volumen de datos. Con respecto a la indexación de eventos, Sentinel utiliza el motor de indexación ampliable y distribuido Elasticsearch de Elastic.

En la siguiente ilustración se muestran los diferentes componentes utilizados en el almacenamiento ampliable:

Figura 6-1 Arquitectura de almacenamiento ampliable

Mensajería: Sentinel utiliza Kafka de Apache como sistema de mensajería ampliable que recibe eventos normalizados y datos en bruto de las instancias de Collector Manager. Las instancias de Collector Manager envían datos en bruto y datos de eventos a los clústeres de Kafka.

De forma predeterminada, Sentinel crea los siguientes temas de Kafka:
- security.events.normalized: almacena todos los datos de eventos procesados y normalizados, incluidos los eventos generados por el sistema y los eventos internos.
- security.events.raw: almacena todos los datos en bruto procedentes de las fuentes de los eventos.
Los datos en bruto y de eventos siguen el esquema de Apach Avro. Para obtener más información, consulte la documentación de Apache Avro. Los archivos de esquema están disponibles en el directorio de /etc/opt/novell/sentinel/scalablestore.
Trabajo: Este nodo alberga tareas de almacenamiento y procesamiento en tiempo real. Apache Spark realiza el procesamiento de datos a gran escala en tiempo real como, por ejemplo, la segregación de eventos basados en identificadores de arrendatarios, la solicitud de grandes volúmenes de datos y el almacenamiento de los mismos en el sistema de registro (SOR) y la indexación ampliable.

Apache HBase es un almacén de datos basado en Hadoop distribuido y ampliable. Se utiliza como un SOR de datos en bruto y de eventos normalizados, segregados por identificadores de arrendatarios.

En función del identificador del arrendatario, Sentinel crea un espacio de nombres independiente para cada uno de ellos. Por ejemplo, el espacio de nombres para el arrendatario predeterminado es 1. En cada espacio de nombres, Sentinel crea las siguientes tablas y almacena los datos según la hora del evento.
- <ID_arrendatario>:security.events.normalized: almacena todos los datos de eventos procesados y normalizados, incluidos los eventos generados por el sistema y los eventos internos.
- <ID_arrendatario>:security.events.raw: almacena todos los datos en bruto procedentes de las fuentes de los eventos.
Gestión en clúster: Este nodo alberga todos los patrones y los servicios de gestión de clúster. Apache ZooKeeper actúa como un servicio centralizado destinado al mantenimiento de la información de configuración, la denominación de servicios, la facilitación de la sincronización distribuida y la prestación de servicios de grupo.
Indexación: Sentinel utiliza Elasticsearch como el motor de indexado distribuido y ampliable para la indexación de eventos. Es posible acceder a los datos de Elasticsearch para la búsqueda y visualización de eventos.

Sentinel crea un índice específico para cada día y utiliza la zona horaria UTC (de medianoche a medianoche) para calcular la fecha de índice. El nombre de índice aparece en el formato security.events.normalized_aaaaMMdd. Por ejemplo, el índice security.events.normalized_20160101 contiene todos los eventos con fecha de 1 de enero de 2016. Para obtener un rendimiento óptimo, Sentinel indexa solamente algunos campos de evento específicos. Puede modificar los campos de evento que desee que indexe Elasticsearch. Para obtener más información, consulte Performance Tuning in SSDM (Ajuste del rendimiento en SSDM) en la NetIQ Sentinel Administration Guide (Guía de administración de NetIQ Sentinel).

Configuración del almacenamiento ampliable

Cuando se habilita el almacenamiento ampliable, la interfaz de usuario de servidor de Sentinel se limita a algunas de las funciones de Sentinel, como la recopilación de datos, la correlación, el encaminamiento de eventos, la búsqueda y visualización de eventos y la realización de determinadas actividades administrativas. Esta versión limitada de Sentinel se conoce como Sentinel Scalable Data Manager (SSDM). Para utilizar otras funcionalidades de Sentinel como la inteligencia de seguridad, la búsqueda y generación de informes convencional, debe instalar instancias independientes de Sentinel con el almacenamiento tradicional y distribuir los datos de eventos específicos de SSDM a Sentinel mediante el uso de Sentinel Link.

En la lista siguiente se proporciona información acerca de los servicios y las funciones no disponibles en SSDM:

Informes
Inteligencia de seguridad
Realización de operaciones de eventos durante la búsqueda
Comprobación de las reglas de correlación
Creación y gestión de incidencias
Ejecución manual de acciones sobre eventos
Sincronización de datos
Flujos de trabajo de iTRAC
Análisis forenses de los eventos que activan el evento correlacionado
Visualización de adjuntos de los eventos de Secure Configuration Manager y Change Guardian

La habilitación del almacenamiento ampliable constituye una configuración única, la cual no se puede revertir. Si desea inhabilitar el almacenamiento ampliable y cambiar al almacenamiento tradicional, debe volver a instalar Sentinel.

La siguiente lista de verificación ofrece un alto nivel información acerca de las tareas que necesita llevar a cabo para configurar el almacenamiento ampliable:

Tabla 6-2 Lista de verificación de la configuración del almacenamiento ampliable

	Tareas	Consulte
	Revise la información de implantación para comprender la forma en que debe instalar Sentinel con almacenamiento ampliable.	Implantación de tres niveles con almacenamiento ampliable
	Revise los requisitos previos y lleve a cabo todas las tareas requeridas.	Sección 12.0, Instalación y configuración del almacenamiento ampliable.
	Habilite el almacenamiento ampliable. Puede habilitar el almacenamiento ampliable durante la instalación o después de esta. En las instalaciones de actualización, puede habilitar el almacenamiento ampliable solo después de actualizar Sentinel.	Para habilitar el almacenamiento ampliable durante la instalación, lleve a cabo una instalación personalizada de Sentinel. Consulte la Instalación personalizada del servidor Sentinel. Para habilitar el almacenamiento ampliable después de la instalación o la actualización, consulte Enabling Scalable Storage Post-Installation (Habilitación del almacenamiento ampliable después de la instalación) en la NetIQ Sentinel Administration Guide (Guía de administración de NetIQ Sentinel).
	Configure los componentes de CDH y Elasticsearch con Sentinel.	Configuring Scalable Storage (Configuración del almacenamiento ampliable) en la NetIQ Sentinel Administration Guide (Guía de administración de NetIQ Sentinel).

6.1.3 Estructura de directorios de Sentinel

Por defecto, los directorios de Sentinel se encuentran en las siguientes ubicaciones:

Los archivos de datos se encuentran en los directorios /var/opt/novell/sentinel/data y /var/opt/novell/sentinel/3rdparty.
Los archivos ejecutables y las bibliotecas se almacenan en el directorio /opt/novell/sentinel..
Los archivos de registro se encuentran en el directorio /var/opt/novell/log.
Los archivos temporales se encuentran en el directorio /var/opt/novell/sentinel/tmp.
Los archivos de configuración se encuentran en el directorio /etc/opt/novell/sentinel.
El archivo de ID del proceso (PID) se encuentra en el directorio /home/novell/sentinel/server.pid.

Mediante el PID, los administradores pueden identificar el proceso padre del servidor Sentinel y supervisar o terminar el proceso.