¿Cómo puedo reequilibrar la distribución desigual de particiones en mi clúster de OpenSearch Service?

Descripción corta

El uso del disco puede estar muy sesgado por los siguientes motivos:

• Tamaños de particiones desiguales en un clúster. OpenSearch Service distribuye de manera uniforme la cantidad de particiones entre los nodos, pero los diferentes tamaños de particiones requieren diferentes cantidades de espacio en disco.
• Espacio en disco disponible en un nodo. Para obtener más información, consulta la configuración de asignación de particiones basada en discos en el sitio web de Elastic.
• Estrategia de asignación de particiones incorrecta.

Para reequilibrar la asignación de particiones en tu clúster de OpenSearch Service, completa una o más de las resoluciones.

Resolución

Comprobación de la asignación de las particiones, el tamaño de los particiones y la estrategia de partición del índice

Para comprobar la cantidad de particiones que se asignan a cada nodo y la cantidad de espacio en disco que se utiliza en cada nodo, ejecuta la siguiente API:

GET _cat/allocation?v

Para comprobar las particiones que se asignan a cada nodo y el tamaño de cada partición, ejecuta la siguiente API:

GET _cat/shards?v

Nota: El resultado de la API anterior muestra si el tamaño de las particiones puede variar en función de los distintos índices.

La estrategia de partición desigual de los índices puede provocar sesgos en los datos. Para comprobar la estrategia de partición de los índices, ejecuta la siguiente API:

GET _cat/indices?v

Comprobar que lar particiones tengan el mismo tamaño en todos los índices

Si el tamaño del índice varía significativamente, usa la API de transferencia para crear un nuevo índice cuando se alcancen ciertos tamaños de índice. Para obtener más información, consulta Transferencia a un nuevo índice en el sitio web de Elastic. O bien, puedes usar Index State Management (ISM) para crear un nuevo índice para las versiones 7.1 y posteriores de OpenSearch Service. Para obtener más información sobre cómo usar ISM para transferir un alias, consulta Transferir en el sitio web de Open Distro.

Mantener los tamaños de las particiones entre 10 GB y 50 GB para un mejor rendimiento

Si tienes una clase grande de instancias, utiliza la escala de petabytes de OpenSearch Service para determinar el tamaño de las particiones. Por ejemplo, un dominio de OpenSearch Service con varias instancias i3.16xlarge.search puede admitir tamaños de particiones de hasta 100 GB porque hay más recursos disponibles. Para obtener más información sobre la estrategia de partición, consulta Elegir el número de particiones.

Agregar más nodos al clúster de OpenSearch Service

Si su clúster de OpenSearch Service tiene niveles altos de uso de disco, agrega más nodos de datos al clúster. La adición de nodos de datos también agrega más recursos para mejorar el rendimiento del clúster.

Nota: OpenSearch Service no reequilibra automáticamente el clúster cuando falta espacio de almacenamiento disponible. Como resultado, si un nodo de datos se queda sin espacio de almacenamiento no utilizado, el clúster bloquea cualquier escritura. Para obtener más información sobre la administración del espacio en disco, consulta ¿Cómo soluciono problemas de poco espacio de almacenamiento en mi dominio de OpenSearch Service?

Actualización de la estrategia de partición

De forma predeterminada, OpenSearch Service tiene una estrategia de partición de 5:1, en la que cada índice se divide en cinco particiones principales. Dentro de cada índice, cada partición principal también tiene una réplica. OpenSearch Service asigna automáticamente las particiones principales y las particiones de réplica a nodos de datos independientes y se asegura de que haya una copia de seguridad en caso de error.

Para modificar el comportamiento predeterminado de OpenSearch Service, diseña los índices de forma que las particiones se distribuyan por igual según su tamaño.

Para los índices existentes, usa la API de reindexación para cambiar el número de particiones principales. Para obtener más información, consulta Reindexación de documentos en el sitio web de Elastic. La API de reindexación puede combinar índices más pequeños en un índice más grande o dividir el índice más grande. Cuando el índice más grande se divide en más particiones primarias, el tamaño de las particiones disminuye.

Para los índices nuevos, utiliza la API de plantillas de índices para definir el número de particiones principales y réplicas. Para obtener más información, consulta Creación o actualización de una plantilla de índice en el sitio web de Elastic.

A continuación, actualiza la configuración de índices de tus particiones. Para obtener más información, consulta Actualización de la configuración del índice en el sitio web de Elastic.

Eliminación de índices antiguos o no utilizados para liberar espacio en disco

OpenSearch Service o Elasticsearch, versión 6.8 o posterior, son compatibles con ISM. Con ISM, puedes definir políticas de administración personalizadas para que los índices antiguos o no utilizados se eliminen después de un periodo establecido.

Información relacionada

Cálculo de los requisitos de almacenamiento

Introducción a Amazon Elasticsearch Service: ¿cuántas particiones necesito?