Come posso riequilibrare la distribuzione irregolare degli shard nel mio cluster del Servizio OpenSearch?

Breve descrizione

L'utilizzo del disco può essere molto asimmetrico per i seguenti motivi:

• Dimensioni irregolari degli shard in un cluster. Il Servizio OpenSearch distribuisce uniformemente il numero di shard tra i nodi, ma dimensioni diverse richiedono differenti quantità di spazio su disco.
• Spazio su disco disponibile su un nodo. Per ulteriori informazioni, consulta Disk-based shard allocation settings (Impostazioni di allocazione degli shard basate su disco) sul sito web di Elastic.
• Strategia di allocazione degli shard non corretta.

Per riequilibrare l'allocazione degli shard nel cluster del Servizio OpenSearch, applica una o più dei seguenti procedimenti di risoluzione.

Risoluzione

Controlla l'allocazione degli shard, le dimensioni degli shard e la strategia di sharding degli indici

Per verificare il numero di shard allocati a ciascun nodo e la quantità di spazio su disco utilizzata in ciascun nodo, esegui questa API:

GET _cat/allocation?v

Per verificare gli shard allocati a ciascun nodo e la dimensione di ogni shard, esegui questa API:

GET _cat/shards?v

Nota: l'output dell'API precedente mostra se la dimensione degli bshard può variare per diversi indici.

La strategia di sharding irregolare degli indici può causare asimmetria dei dati. Per verificare la strategia di sharding degli indici, esegui questa API:

GET _cat/indices?v

Verifica che gli shard abbiano le stesse dimensioni in tutti gli indici

Se la dimensione dell'indice varia in modo significativo, utilizza l'API rollover per creare un nuovo indice quando vengono raggiunte determinate dimensioni. Per ulteriori informazioni, consulta Roll over to a new index (Rollover a un nuovo indice) sul sito web di Elastic. In alternativa, puoi utilizzare Index State Management (ISM) per creare un nuovo indice per il Servizio OpenSearch versione 7.1 e successive. Per ulteriori informazioni sull’utilizzo di ISM per eseguire il rollover di un alias, consulta rollover sul sito web di Open Distro.

Mantieni le dimensioni degli shard comprese tra 10 GB e 50 GB per ottenere prestazioni migliori

Se ha una classe di istanze grande, determina le dimensioni degli shard utilizzando la scala Petabyte per il Servizio OpenSearch. Ad esempio, un dominio del Servizio OpenSearch con diverse istanze i3.16xlarge.search può supportare shard di dimensioni fino a 100 GB perché sono disponibili più risorse. Per ulteriori informazioni sulla strategia di sharding, consulta Scelta del numero di shard.

Aggiungi altri nodi al cluster del Servizio OpenSearch

Se il cluster del Servizio OpenSearch ha livelli di utilizzo del disco elevati, aggiungi altri nodi di dati al cluster. L'aggiunta di nodi di dati aggiunge anche più risorse per migliorare le prestazioni del cluster.

Nota: il Servizio OpenSearch non riequilibra automaticamente il cluster nel caso in cui manchi spazio di archiviazione disponibile. Di conseguenza, se un nodo di dati esaurisce lo spazio di archiviazione inutilizzato, il cluster blocca qualsiasi scrittura. Per ulteriori informazioni sulla gestione dello spazio su disco, consulta Come posso risolvere i problemi di spazio di archiviazione insufficiente nel mio dominio del Servizio OpenSearch?

Aggiorna la strategia di sharding

Per impostazione predefinita, il Servizio OpenSearch ha una strategia di sharding 5:1, in cui ogni indice è diviso in cinque shard primari. All'interno di ogni indice, ogni shard primario ha anche una replica. Il Servizio OpenSearch assegna automaticamente gli shard primari e gli shard di replica a nodi di dati distinti e garantisce che sia disponibile un backup in caso di errore.

Per modificare il comportamento predefinito del Servizio OpenSearch, progetta gli indici in modo che gli shard siano distribuiti equamente per dimensione.

Per gli indici esistenti, utilizza l'API reindex per modificare il numero di shard primari. Per ulteriori informazioni, consulta Reindex documents (Reindicizzazione di documenti) sul sito web di Elastic. L'API reindex può unire indici più piccoli in un indice più grande o suddividere l'indice più grande. Quando l'indice più grande viene suddiviso in più shard primari, le dimensioni degli shard diminuiscono.

Per i nuovi indici, utilizza l'API index template per definire il numero di shard primari e di replica. Per ulteriori informazioni, consulta Create or update index template (Creazione o aggiornamento di un modello di indice) sul sito web di Elastic.

Quindi aggiorna le impostazioni degli indici per gli shard. Per ulteriori informazioni, consulta Update index settings (Aggiornamento delle impostazioni di un indice) sul sito web di Elastic.

Elimina gli indici obsoleti o inutilizzati per liberare spazio su disco

Il Servizio OpenSearch o Elasticsearch versione 6.8 o successiva supportano ISM. Con ISM puoi definire policy di gestione personalizzate in modo che gli indici obsoleti o inutilizzati vengano eliminati dopo una durata prestabilita.

Informazioni correlate

Calcolo dei requisiti di archiviazione

Get Started with Amazon Elasticsearch Service: How Many Shards Do I Need? (Guida introduttiva ad Amazon Elasticsearch Service: Quante partizioni mi servono?)