Comment puis-je rééquilibrer la distribution inégale des partitions dans mon cluster OpenSearch Service ?

Brève description

L'utilisation du disque peut être fortement asymétrique pour les raisons suivantes :

• Taille variable des partitions au sein d’un cluster. OpenSearch Service répartit uniformément le nombre de partitions entre les nœuds, mais différentes tailles de partitions nécessitent différentes quantités d'espace disque.
• Espace disque disponible sur un nœud. Pour en savoir plus, consultez la page Paramètres d'allocation de partition basés sur le disque sur le site Web d’Elastic.
• Stratégie d’allocation des partitions incorrecte.

Pour rééquilibrer l'allocation des partitions dans votre cluster OpenSearch Service, effectuez une ou plusieurs résolutions.

Résolution

Vérifier l'allocation, la taille des partitions et la stratégie de partitionnement des index

Pour vérifier le nombre de partitions allouées à chaque nœud et la quantité d'espace disque utilisée sur chaque nœud, exécutez l'API suivante :

GET _cat/allocation?v

Pour vérifier les partitions allouées à chaque nœud et la taille de chaque partition, exécutez l'API suivante :

GET _cat/shards?v

Remarque : La sortie précédente de l'API indique si la taille des partitions peut varier selon les index.

La stratégie de partitionnement inégale des index peut entraîner une asymétrie des données. Pour vérifier la stratégie de partitionnement des index, exécutez l'API suivante :

GET _cat/indices?v

Vérifier que les partitions sont de taille égale dans tous les index

Si la taille de l'index varie de manière significative, utilisez l'API de roulement pour créer un nouvel index lorsque certaines tailles d'index sont atteintes. Pour plus d'informations, consultez la page Survoler un nouvel index sur le site Web d'Elastic. Vous pouvez également utiliser la gestion de l'état de l'index (ISM) pour créer un nouvel index pour les versions 7.1 et ultérieures d'OpenSearch Service. Pour plus d'informations sur l’utilisation de l’ISM pour survoler un alias, consultez la page roulement sur le site Web d'Open Distro.

Maintenir la taille des partitions entre 10 et 50 Go pour de meilleures performances

Si vous disposez d’une grande classe d'instances, utilisez l'échelle du pétaoctet pour OpenSearch Service afin de déterminer la taille des partitions. Par exemple, un domaine OpenSearch Service comptant plusieurs instances i3.16xlarge.search peut prendre en charge des tailles de partition allant jusqu'à 100 Go car un plus grand nombre de ressources sont disponibles. Pour en savoir plus sur la stratégie d'indexation, consultez la section Choisir le nombre de partitions.

Ajouter des nœuds de données supplémentaires à votre cluster OpenSearch Service

Si les niveaux d'utilisation de disque de votre cluster OpenSearch Service sont élevés, ajoutez-y d'autres nœuds de données. L'ajout de nœuds de données permet également d'augmenter les ressources pour améliorer les performances du cluster.

Remarque : OpenSearch Service ne rééquilibre pas automatiquement le cluster en cas de manque d'espace de stockage disponible. Par conséquent, si un nœud de données manque d'espace de stockage inutilisé, le cluster bloque toutes les écritures. Pour plus d'informations sur la gestion de l'espace de stockage, consultez la section Comment résoudre un problème d'espace de stockage insuffisant dans mon domaine OpenSearch Service ?

Mettre à jour votre stratégie de partitionnement

Par défaut, OpenSearch Service applique une stratégie de partitionnement de 5:1, chaque index est divisé en cinq partitions principales. Au sein de chaque index, chaque partition principale possède également son réplica. OpenSearch Service attribue automatiquement les partitions principales et les partitions répliquées à des nœuds de données distincts, puis met une sauvegarde en place en cas de panne.

Pour modifier le comportement par défaut d'OpenSearch Service, concevez vos index de manière que les fragments soient répartis de manière égale en termes de taille.

Pour les index existants, utilisez l'API de réindexation pour modifier le nombre de partitions principales. Pour plus d'informations, consultez la page Réindexer les documents sur le site Web d'Elastic. L'API de réindexation peut fusionner des index de plus petite taille en un index de plus grande taille, ou fractionner l'index le plus grand. Lorsque l'index de plus grande taille est fractionné en plusieurs partitions principales, la taille des partitions diminue.

Pour les nouveaux index, utilisez l'API des modèles d'index pour définir le nombre de partitions principales et de réplicas. Pour plus d'informations, consultez la page Créer ou mettre à jour un modèle d'index sur le site Web d'Elastic.

Mettez ensuite à jour les paramètres d'index de vos partitions. Pour plus d'informations, consultez la page Mettre à jour les paramètres d'index sur le site Web d'Elastic.

Supprimer les index anciens ou inutilisés pour libérer de l'espace disque

OpenSearch Service ou Elasticsearch version 6.8 ou ultérieure prennent en charge l’ISM. Avec l’ISM, vous pouvez définir des politiques de gestion personnalisées afin que les index anciens ou inutilisés soient supprimés après une durée définie.

Informations connexes

Calcul des besoins de stockage

Démarrer avec Amazon Elasticsearch Service : De combien de partitions ai-je besoin ?