Você pode migrar dados de eventos e dados brutos do servidor de origem para o sistema de mensagens escalável usando o script scalablestorage_data_uploader.sh. Execute o script individualmente para dados de eventos e dados brutos. O script faz upload dos dados para os tópicos do Kafka. O script transfere dados para a faixa de datas (de e para) que você especifica. Ao executar o script, ele exibe os parâmetros obrigatórios e opcionais que você deve especificar para iniciar o upload de dados.
O script deve ser executado como usuário novell. Portanto, verifique se os diretórios de dados e os arquivos que você especifica têm as permissões apropriadas para o usuário novell.
Você pode especificar personalizações como compactação de dados durante o upload, envio de dados em lotes e assim por diante. Para especificar essas personalizações, crie um arquivo de propriedades e adicione as propriedades necessárias no formato de chave-valor. Por exemplo, você pode adicionar propriedades da seguinte forma:
compression.type=lz4
batch.size=20000
NOTA:Para obter mais informações sobre as propriedades do Kafka, consulte a Documentação do Kafka. Defina as propriedades e os valores delas a seu critério, porque o script não valida essas propriedades.
Por padrão, o script faz upload de dados do armazenamento primário. Se você quiser fazer upload de dados do armazenamento secundário, especifique o caminho apropriado para o armazenamento secundário ao executar o script.
Para fazer upload de dados de eventos e dados brutos:
Efetue login no servidor do Sentinel como o usuário novell.
Execute o script a seguir:
/opt/novell/sentinel/bin/scalablestorage_data_uploader.sh
Siga as instruções na tela e execute o script novamente com os parâmetros necessários.
O evento e os dados brutos carregados terão o período de retenção conforme definido no servidor de destino.
Uma vez que o upload de dados é feito, o script registra o status, como partições carregadas com sucesso, partições com falha no upload, número de eventos carregados e assim por diante. Para partições com data do dia anterior e do dia atual, o status da transferência de dados mostrará IN_PROGRESS considerando eventos que podem chegar atrasados.
Execute o script novamente em cenários em que o upload de dados não foi concluído com sucesso ou em que o status de upload de dados para partições ainda indica IN_PROGRESS. Ao executar o script novamente, ele verifica primeiro o arquivo de status para entender as partições que já foram carregadas e, então, continua o upload somente das restantes. O script mantém os registros no diretório /var/opt/novell/sentinel/log/scalablestorage_data_uploader.log para fins de solução de problemas.