É possível usar o script data_uploader.sh para migrar dados para um dos seguintes componentes de armazenamento de dados:
Kafka: É possível migrar dados brutos e de eventos para o Kafka. Execute o script individualmente para dados de eventos e dados brutos. O script migra os dados para os tópicos do Kafka.
É possível especificar personalizações, como compactar dados durante a migração, enviar dados em lotes e assim por diante. Para especificar essas personalizações, crie um arquivo de propriedades e adicione as propriedades necessárias no formato de chave-valor. Por exemplo, você pode adicionar propriedades da seguinte forma:
compression.type=lz4
batch.size=20000
Para obter mais informações sobre as propriedades do Kafka, consulte a Documentação do Kafka. Defina as propriedades e os valores delas a seu critério, porque o script não valida essas propriedades.
NOTA:Verifique se o servidor do Sentinel pode resolver todos os nomes de host do controlador Kafka para endereços IP válidos para todo o cluster Kafka. Se o DNS não estiver configurado para permitir isso, adicione os nomes de host do controlador Kafka ao arquivo /etc/hosts do servidor do Sentinel.
Elasticsearch: É possível migrar apenas dados de eventos para o Elasticsearch. Antes de migrar os dados, verifique se você habilitou a visualização de eventos. Para obter mais informações, consulte Habilitando a visualização de eventos.
O script transfere dados para a faixa de datas (de e para) que você especifica. Quando você executa o script, ele exibe os parâmetros obrigatórios e opcionais que você deve especificar para iniciar a migração de dados e também as informações sobre as propriedades relevantes a serem usadas para o componente de armazenamento de dados desejado.
O script deve ser executado como usuário novell. Portanto, verifique se os diretórios de dados e os arquivos que você especifica têm as permissões apropriadas para o usuário novell. Por padrão, o script migra dados do armazenamento primário. Se você quiser migrar dados do armazenamento secundário, especifique o caminho apropriado para o armazenamento secundário ao executar o script.
Para migrar dados:
Efetue login no servidor do Sentinel como o usuário novell.
Execute o script a seguir:
/opt/novell/sentinel/bin/data_uploader.sh
Siga as instruções na tela e execute o script novamente com os parâmetros necessários.
Os dados migrados terão o período de retenção conforme definido no servidor de destino.
Após a migração de dados estar concluída, o script registra o status, como partições migradas com êxito, partições que não foram migradas, número de eventos migrados e assim por diante. Para partições com data do dia anterior e do dia atual, o status da transferência de dados mostrará IN_PROGRESS considerando eventos que podem chegar atrasados.
Execute o script novamente em cenários em que a migração de dados não foi concluída com êxito ou em que o status de migração de dados para partições ainda indique IN_PROGRESS. Quando você executa novamente o script, ele primeiro verifica o arquivo de status para entender as partições que já foram migradas e continua a migrar apenas as restantes. O script mantém os logs no diretório /var/opt/novell/sentinel/log/data_uploader.log para fins de solução de problemas.