Como reequilibrar a distribuição desigual de fragmentos em meu cluster do OpenSearch Service?

Breve descrição

O uso do disco pode ser muito distorcido pelos seguintes motivos:

• Tamanhos irregulares de fragmentos em um cluster. O OpenSearch Service distribui uniformemente o número de fragmentos entre os nós, mas diferentes tamanhos de fragmentos exigem diferentes quantidades de espaço em disco.
• Espaço em disco disponível em um nó. Para mais informações, consulte as configurações de alocação de fragmentos com base em disco no site da Elastic.
• Estratégia incorreta de alocação de fragmentos.

Para reequilibrar a alocação de fragmentos em seu cluster do OpenSearch Service, conclua uma ou mais das resoluções.

Resolução

Verifique a alocação de fragmentos, os tamanhos dos fragmentos e a estratégia de fragmentação de índice

Para verificar o número de fragmentos alocados para cada nó e a quantidade de espaço em disco usada em cada nó, execute a seguinte API:

GET _cat/allocation?v

Para verificar os fragmentos alocados para cada nó e o tamanho de cada fragmento, execute a seguinte API:

GET _cat/shards?v

Observação: a saída anterior da API mostra se o tamanho dos fragmentos pode variar para diferentes índices.

A estratégia de fragmentação desigual dos índices pode causar distorção nos dados. Para verificar a estratégia de fragmentação dos índices, execute a seguinte API:

GET _cat/indices?v

Verifique se os fragmentos são do mesmo tamanho em todos os índices

Se o tamanho do índice variar significativamente, use a API de rollover para criar um novo índice quando determinados tamanhos de índice forem atingidos. Para obter mais informações, consulte Transferir para um novo índice no site da Elastic. Ou é possível usar o Index State Management (ISM) para criar um novo índice para as versões 7.1 e posteriores do OpenSearch Service. Para obter mais informações sobre como usar o ISM para transferir um alias, consulte rollover no site do Open Distro.

Mantenha os tamanhos dos fragmentos entre 10 GB e 50 GB para melhorar o desempenho

Se você tiver uma grande classe de instâncias, use a escala de petabytes do OpenSearch Service para determinar os tamanhos dos fragmentos. Por exemplo, um domínio do OpenSearch Service com várias instâncias i3.16xlarge.search pode suportar fragmentos de até 100 GB porque há mais recursos disponíveis. Para obter mais informações sobre a estratégia de fragmentação, consulte Escolher o número de fragmentos.

Adicione mais nós de dados ao seu cluster do OpenSearch Service

Se o cluster do OpenSearch Service tiver altos níveis de uso do disco, adicione mais nós de dados ao cluster. A adição de nós de dados também adiciona mais recursos para melhorar o desempenho do cluster.

Observação: o OpenSearch Service não reequilibra automaticamente o cluster quando há falta de espaço de armazenamento disponível. Como resultado, se um nó de dados ficar sem espaço de armazenamento não utilizado, o cluster bloqueia todas as gravações. Para obter mais informações sobre gerenciamento de espaço em disco, consulte Como soluciono problemas de pouco espaço de armazenamento no meu domínio do OpenSearch Service?

Revise sua estratégia de fragmentação

Por padrão, o OpenSearch Service tem uma estratégia de fragmentação de 5:1, em que cada índice é dividido em cinco fragmentos principais. Em cada índice, cada fragmento primário também tem sua própria réplica. O OpenSearch Service atribui automaticamente fragmentos primários e fragmentos de réplica a nós de dados separados e garante que haja um backup em caso de falha.

Para modificar o comportamento padrão do OpenSearch Service, crie seus índices de forma que os fragmentos sejam distribuídos igualmente por tamanho.

Para índices existentes, use a API de reindexação para alterar o número de fragmentos primários. Para obter mais informações, consulte os documentos de reindexação no site da Elastic. A API de reindexação pode mesclar índices menores em um índice maior ou dividir o índice maior. Quando o índice maior é dividido em mais fragmentos primários, os tamanhos dos fragmentos diminuem.

Para novos índices, use a API de modelo de índice para definir o número de fragmentos primários e de réplica. Para obter mais informações, consulte Criar ou atualizar o modelo de índice no site da Elastic.

Em seguida, atualize as configurações de índices para seus fragmentos. Para obter mais informações, consulte Atualizar configurações de índice no site da Elastic.

Exclua os índices antigos ou não utilizados para liberar espaço em disco

O OpenSearch Service ou o Elasticsearch versão 6.8 ou posterior oferecem suporte ao ISM. Com o ISM, é possível definir políticas de gerenciamento personalizadas para que índices antigos ou não utilizados sejam excluídos após um período estabelecido.

Informações relacionadas

Cálculo dos requisitos de armazenamento

Comece a usar o Amazon Elasticsearch Service: quantos fragmentos são necessários?