6.1 Considerações sobre armazenamento de dados

Dependendo da taxa de EPS, é possível optar por usar o armazenamento tradicional ou o armazenamento escalável para armazenar e indexar seus dados do Sentinel. A implantação do Sentinel depende do tipo de armazenamento de dados que você escolher usar.

Tabela 6-1 Comparação entre armazenamento tradicional e armazenamento escalável

Armazenamento tradicional

Armazenamento escalável

Os dados são armazenados em armazenamento tradicional com base no arquivo, e a indexação é feita localmente no servidor do Sentinel.

Os dados são armazenados em um armazenamento escalável com base em Hadoop e usam mecanismo de indexação distribuída escalável para indexar dados.

Perfeitamente escalável até aproximadamente 20 mil EPS. Além disso, é preciso adicionar outros servidores do Sentinel para escalar verticalmente até uma taxa de EPS muito mais alta.

Perfeitamente escalável a uma taxa de EPS muito grande, como um milhão de eventos por segundo.

A coleta de dados é balanceada por carga em vários servidores do Sentinel. Por isso, os dados são distribuídos entre diferentes servidores do Sentinel e devem ser gerenciados individualmente.

A coleta de dados é gerenciada por um único servidor do Sentinel. Por isso, o gerenciamento de dados e o gerenciamento de recursos são centralizados em um único servidor do Sentinel.

Os dados são rotulados como encarregados, mas não são segregados desta forma no disco.

Os dados são rotulados e segregados no disco como encarregados.

A replicação e disponibilidade de dados devem ser feitas manualmente ou ao utilizar mecanismos de armazenamento caros, como o disco SAN.

A replicação e a disponibilidade de dados são econômicas, já que o Hadoop é executado em hardware padrão.

6.1.1 Planejando o armazenamento tradicional

O armazenamento de dados tradicional tem uma estrutura de três níveis:

Armazenamento online

Armazenamento primário, antes conhecido como armazenamento local.

Otimizado para gravação e recuperação rápida. Armazena os dados de eventos coletados mais recentemente e pesquisados mais frequentemente.

Armazenamento secundário, antes conhecido como armazenamento de rede. (opcional)

Otimizado para reduzir o uso de espaço em armazenamento opcionalmente de menor custo, ao mesmo tempo dando suporte a recuperação rápida. O Sentinel automaticamente migra as partições de dados para o armazenamento secundário.

NOTA:O uso do armazenamento secundário é opcional. Políticas de retenção de dados, pesquisas e relatórios funcionam em partições de dados de evento independentemente de se residem em armazenamentos primários, secundários ou em ambos.

Armazenamento offline

Armazenamento em arquivo-morto

Quando as partições são fechadas, você pode fazer backup da partição para qualquer serviço de armazenamento de arquivos, como o Amazon Glacier. Você pode importar novamente temporariamente as partições para uso em análise forense sempre que necessário.

Você também pode configurar o Sentinel para extrair dados de evento e resumos de dados de evento para um banco de dados externo usando políticas de sincronização de dados. Para obter mais informações, consulte Configurando a sincronização de dados no Guia de Administração do NetIQ Sentinel .

Ao instalar o Sentinel, é necessário montar a partição de disco para o armazenamento primário no local em que o Sentinel será instalado, como padrão, o diretório /var/opt/novell.

Toda a estrutura de diretório em /var/opt/novell/sentinel precisa residir em uma única partição de disco para garantir que o cálculos de uso de disco sejam realizados corretamente. Caso contrário, as capacidades de gerenciamento automático de dados poderão apagar dados de eventos prematuramente. Para obter mais informações sobre o diretório do Sentinel, consulte Estrutura de diretórios do Sentinel.

Como prática recomendada, certifique-se de que o diretório de dados esteja localizado em uma partição de disco diferente daquela em que se encontram os arquivos do sistema operacional, arquivos de configuração e executáveis. Os benefícios de armazenar dados variáveis separadamente incluem mais facilidade para realizar backups de conjuntos de campos, mais simplicidade na recuperação em casos de corrupção e robustez adicional caso uma partição de disco fique cheia. Ele também melhora o desempenho geral de sistemas em que sistemas de arquivos menores são mais eficientes. Para obter mais informações, consulte Particionamento de disco.

NOTA:Há uma limitação nos sistemas de arquivos ext3 para armazenamento de arquivos, que evita que um diretório tenha mais de 32000 arquivos ou subdiretórios. A NetIQ recomenda que você use o sistema de arquivos XFS se tiver uma grande quantidade de políticas de retenção ou se for manter os dados por longos períodos como um ano.

Use partições nas instalações tradicionais

Nas instalações tradicionais, você pode modificar o layout da partição de disco do sistema operacional antes de instalar o Sentinel. O administrador deverá criar e montar as partições desejadas para os diretórios adequados com base na estrutura de diretório detalhada em Estrutura de diretórios do Sentinel. Ao executar o instalador, o Sentinel é instalado nos diretórios pré-criados, resultando em uma instalação que abrange várias partições.

NOTA:

  • É possível usar a opção--location ao executar o instalador para especificar um local de nível superior diferente do diretório padrão para armazenar o arquivo. O valor passado para a opção --location é anexado aos caminhos do diretório. Por exemplo, se você especificar --location=/foo, o diretório de dados será /foo/var/opt/novell/sentinel/data e o diretório de configuração será /foo/etc/opt/novell/sentinel/config.

  • Não use os links do sistema de arquivos (por exemplo, soft links) para a opção --location.

Usando partições em instalações de aplicação

Ao usar o formato de aplicação ISO do DVD, você poderá configurar o particionamento do sistema de arquivos da aplicação durante a instalação seguindo as instruções nas telas do YaST. Por exemplo, você pode criar uma partição separada para o ponto de montagem /var/opt/novell/sentinel para colocar todos os dados em uma partição separada. No entanto, para outros formatos de aplicação, é possível configurar o particionamento somente após a instalação. É possível adicionar partições e mover um diretório para a nova partição usando a ferramenta de configuração de sistema SuSE YaST. Para obter informações sobre como criar partições após a instalação, consulte Criando partições para Armazenamento tradicional.

Melhores práticas para o layout da partição

Muitas organizações têm os próprios esquemas de layout de partição de práticas recomendadas documentados para qualquer sistema instalado. A seguinte proposta de partição é feita para conduzir as organizações sem qualquer política definida e considera o uso específico do Sentinel para o sistema de arquivos. Em geral, o Sentinel cumpre o Padrão de hierarquia do sistema de arquivos, quando praticável.

Partição

Ponto de montagem

Tamanho

Notas

Root

/

100 GB

Contém arquivos do sistema operacional e binários/configuração do Sentinel.

Inicialização

/boot

150 MB

Partição de boot

Armazenamento primário

/var/opt/novell/sentinel

Calcule usando as Informações de dimensionamento do sistema.

Essa área conterá os dados coletados primários do Sentinel, além de outros dados variáveis, como arquivos de registro. Essa partição pode ser compartilhada com outros sistemas.

Armazenamento secundário

Local baseado em tipo de armazenamento, NFS, CIFS ou SAN (Storage area network).

Calcule usando as Informações de dimensionamento do sistema.

Essa área de armazenamento secundária, que pode ser montada localmente, como mostrado, ou remotamente.

Armazenamento em arquivo-morto

Sistema remoto

Calcule usando as Informações de dimensionamento do sistema.

Este armazenamento é para dados arquivados.

6.1.2 Planejando o armazenamento escalável

O NetIQ certifica a distribuição do Cloudera incluindo a estrutura Apache Hadoop (CDH) para armazenar e gerenciar grandes dados. Para indexar eventos, o Sentinel usa um mecanismo de indexação distribuída escalável chamado Elasticsearch do Elastic.

A ilustração seguinte explica os vários componentes usados em armazenamento escalável:

Figura 6-1 Arquitetura de armazenamento escalável

  • Colaboração: O Sentinel usa o Apache Kafka como o sistema de mensagens escalável que recebe eventos normalizados e dados brutos das instâncias do Collector Manager. As instâncias do Collector Manager enviam dados brutos e dados de evento para clusters do Kafka.

    Por padrão, o Sentinel cria os seguintes tópicos do Kafka:

    • security.events.normalized: Armazena todos os dados de eventos processados e normalizados, incluindo eventos gerados pelo sistema e eventos internos.

    • security.events.raw: Armazena todos os dados brutos das fontes de eventos.

    Os dados de eventos e brutos seguem o esquema do Apache Avro. Para obter mais informações, consulte a Documentação do Apache Avro. Os arquivos do esquema estão disponíveis no diretório /etc/opt/novell/sentinel/scalablestore.

  • Subordinado: Esse nó hospeda tarefas de processamento e armazenamento em tempo real. O Apache Spark processa dados em larga escala em tempo real, por exemplo, segregando eventos com base em IDs de locatários, solicitando um grande volume de dados e armazenando dados no SOR (sistema de registro) e indexação escalável.

    O Apache HBase é um armazenamento de dados distribuído e escalável com base em Hadoop. É usado como um SOR para eventos normalizados e dados brutos, segregados por IDs de arrendatários.

    Baseado no ID de arrendatário, o Sentinel cria um namespace separado para cada arrendatário. Por exemplo, o namespace para o arrendatário padrão é 1. Em cada namespace, o Sentinel cria as seguintes tabelas e armazena dados com base no tempo do evento.

    • <ID_arrendatário>:security.events.normalized: Armazena todos os dados de eventos processados e normalizados, incluindo eventos gerados pelo sistema e eventos internos.

    • <ID_arrendatário>:security.events.raw: Armazena todos os dados brutos das fontes de eventos.

  • Gerenciamento de Cluster: Esse nó hospeda todos os mestres e serviços de gerenciamento do cluster. O Apache ZooKeeper funciona como um serviço centralizado para manter informações de configuração, nomear serviços, fornecer sincronização distribuída e fornecer serviços de grupo.

  • Indexação: O Sentinel usa o Elasticsearch como o mecanismo de indexação distribuída e escalável para eventos de indexação. É possível acessar dados do Elasticsearch para pesquisar e visualizar eventos.

    O Sentinel cria um índice dedicado para cada dia e usa o fuso horário UTC (meia-noite-meia-noite) para calcular a data do índice. O nome do índice está no formato security.events.normalized_yyyyMMdd. Por exemplo, o índice security.events.normalized_20160101 contém todos os eventos de 1º de janeiro de 2016. Para obter um desempenho ideal, o Sentinel indexa somente alguns campos de evento específicos. É possível modificar todos os campos de evento que você deseja que o Elasticsearch indexe. Para obter mais informações, consulte Performance Tuning in SSDM (Ajuste de desempenho no SSDM) no NetIQ Sentinel Administration Guide (Guia de Administração do NetIQ Sentinel).

Configuração de armazenamento escalável

Quando você habilita o armazenamento escalável, a interface do usuário do servidor do Sentinel é reduzida para somente atender a alguns dos recursos do Sentinel, como coleta de dados, correlação, roteamento de eventos, pesquisa e visualização de eventos, além de executar certas atividades administrativas. Esta versão reduzida do Sentinel é referida como SSDM (Gerenciador de dados escaláveis do Sentinel). Para obter outros recursos do Sentinel, como Inteligência de Segurança, pesquisas convencionais e geração de relatórios, você deve instalar instâncias separadas do Sentinel com armazenamento tradicional e rotear os dados de eventos específicos do SSDM para o Sentinel usando o Sentinel Link.

A lista a seguir fornece informações sobre os serviços e os recursos não disponíveis no SSDM:

  • Relatórios

  • Inteligência de Segurança

  • Executando operações de eventos durante a pesquisa

  • Testando regras de correlação

  • Criação e gerenciamento de incidentes

  • Executando ações em eventos manualmente

  • Sincronização de dados

  • iTRAC Workflows

  • Análise forense sobre os eventos que acionam o evento correlacionado

  • Exibindo anexos de eventos para eventos do Secure Configuration Manager e do Guardião de Mudanças

A habilitação do armazenamento escalável é uma configuração feita uma única vez, que não pode ser revertida. Se quiser desabilitar o armazenamento escalável e mudar para o armazenamento tradicional, você deverá reinstalar o Sentinel.

A lista de verificação seguinte fornece informações de alto nível sobre as tarefas que você precisa executar para configurar o armazenamento escalável:

Tabela 6-2 Lista de verificação da configuração de armazenamento escalável

 

Tarefas

Consulte

Revise as informações de implantação para entender como implantar o Sentinel com armazenamento escalável.

Implantação de três níveis com armazenamento escalável

Revise os pré-requisitos e conclua todas as tarefas solicitadas.

Seção 12.0, Instalando e configurando o armazenamento escalável.

Habilite o armazenamento escalável.

É possível habilitar o armazenamento escalável durante ou após a instalação.

Nas instalações de upgrade, você pode habilitar o armazenamento escalável somente depois de fazer upgrade do Sentinel.

Para habilitar o armazenamento escalável durante a instalação, realize a instalação personalizada do Sentinel. Consulte a Instalação personalizada do servidor do Sentinel.

Para habilitar o armazenamento escalável após a instalação ou o upgrade, consulte Habilitando o Armazenamento Escalável Pós-Instalação no Guia de Administração do NetIQ Sentinel.

Configure componentes do CDH e do Elasticsearch com o Sentinel.

Configurando o armazenamento escalável no NetIQ Sentinel Administration Guide (Guia de Administração do Net IQ Sentinel).

6.1.3 Estrutura de diretórios do Sentinel

Por padrão, os diretórios do Sentinel estão nos seguintes locais:

  • Os arquivos de dados ficam nos diretórios /var/opt/novell/sentinel/data e/var/opt/novell/sentinel/3rdparty.

  • Os executáveis e as bibliotecas são armazenados no diretório /opt/novell/sentinel.

  • Arquivos de registro estão no diretório /var/opt/novell/sentinel/log.

  • Os arquivos temporários estão no diretório /var/opt/novell/sentinel/tmp.

  • Arquivos de configuração estão no diretório /etc/opt/novell/sentinel.

  • O arquivo de ID do processo (PID) está no diretório /home/novell/sentinel/server.pid.

    Usando o PID, os administradores podem identificar o processo pai do servidor do Sentinel e monitorar ou encerra o processo.