¿Cómo soluciono los errores de actualización de las AMI de grupos de nodos administrados para Amazon EKS?

Resolución

Al iniciar una actualización de un grupo de nodos administrado, Amazon EKS actualiza automáticamente los nodos. Si utilizas una AMI optimizada para Amazon EKS, Amazon EKS aplica automáticamente los parches de seguridad y las actualizaciones del sistema operativo (SO) más recientes a tus nodos. Durante el proceso de actualización del nodo, es posible que se muestre uno de los siguientes errores. Selecciona una resolución según el tipo de error que se muestre.

Solución de errores PodEvictionFailure

Se muestra el siguiente error cuando un PodEvictionFailure bloquea una actualización:

"Reached max retries while trying to evict pods from nodes in node group"

Si los pods no salen del nodo en un plazo de 15 minutos y no hay ningún indicador --force, se produce el error PodEvictionFailure en la actualización.

Los errores PodEvictionFailure se producen cuando el presupuesto de expulsión del pod (PDB) impide la expulsión del pod o cuando el despliegue tolera todos los taints y mantiene el nodo no vacío.

Elige una resolución basada en el error que se muestre.

Tu PDB evita la expulsión del Pod

Cuando varios PDB apuntan al mismo pod, el pod tiene una configuración de PDB restrictiva. Un PDB especifica la cantidad de interrupciones que una clase de pods puede tolerar en un momento dado. Cuando una interrupción voluntaria provoca que el número de pods de un servicio caiga por debajo del presupuesto, la operación se detiene hasta que pueda mantener el presupuesto. El evento de drenaje de nodos se detiene temporalmente hasta que haya más pods disponibles. Para obtener más información, consulta Disruptions (Interrupciones) en el sitio web de Kubernetes.

Para actualizar el grupo de nodos administrado, elimina las PDB temporalmente o usa la opción --force. La opción --force no tiene en cuenta las PDB. En su lugar, esta opción fuerza el reinicio de los nodos para implementar las actualizaciones.

Nota: Si los pods protegidos por la PDB ejecutan una aplicación basada en quórum, la opción --force puede provocar que la aplicación deje de estar disponible temporalmente.

Ejecuta el siguiente comando para confirmar que has configurado los PDB en el clúster:

kubectl get pdb --all-namespaces

Alternativamente, si has activado el registro de auditoría en la consola de Amazon EKS, sigue estos pasos:

1. Abre la consola de Amazon EKS.

2. En el panel de navegación, selecciona Clusters (Clústeres) y, a continuación, elige tu clúster.

3. Selecciona la pestaña Observability (Observabilidad) y, a continuación, selecciona Audit (Auditoría). Se abre la consola de Amazon CloudWatch.

4. En la consola de CloudWatch, selecciona Logs (Registros) y, a continuación, selecciona Logs Insights (Información de registros).

5. En el editor de consultas de Logs Insights (Información de registros), introduce la siguiente consulta:

   fields @timestamp, @message
   | filter @logStream like "kube-apiserver-audit"
   | filter ispresent(requestURI)
   | filter objectRef.subresource = "eviction"
   | display @logStream, requestURI, responseObject.message
   | stats count(*) as retry by requestURI, responseObject.message

6. Selecciona Run query (Ejecutar consulta).

7. Selecciona Custom (Personalizado) para identificar la fecha de la actualización. Si se produce un error de actualización del grupo de nodos debido a una PDB restrictiva, responseObject.message describe el motivo del error de expulsión del pod.

Si tu PDB ha provocado el error, modifica la PDB para que permita al menos una interrupción. A continuación, actualiza de nuevo el grupo de nodos administrado.

Para editar la PDB, ejecuta el siguiente comando:

kubectl edit pdb PDB-NAME

Nota: Sustituye PDB-NAME por el nombre de tu PDB.

En la especificación PDB, realiza una de las siguientes acciones:

• Reduce el valor de minAvailable a un valor inferior al número total de réplicas.
• Establece maxUnavailable en al menos 1.

Si varios PDB se dirigen al mismo pod, elimina o consolida los duplicados para que solo se aplique un PDB a cada pod.

Tu despliegue tolera todos los taints

Cuando el proceso de drenaje de nodos expulsa todos los pods, el nodo queda vacío porque Amazon EKS le ha aplicado un taint. Si el despliegue tolera todos los taints, el nodo permanece no vacío y se produce un error al expulsar el pod.

Para resolver este problema, revisa las tolerancias de despliegue y elimina las tolerancias comodín innecesarias. A continuación, actualiza de nuevo el grupo de nodos administrado. Para obtener más información, consulta Taints and tolerations (Taints y tolerancias) en el sitio web de Kubernetes.

Solución de problemas de configuración de plantillas de inicio

Nota: Si se muestran errores al ejecutar comandos de la Interfaz de la línea de comandos de AWS (AWS CLI), consulta Solución de errores para la AWS CLI. Además, asegúrate de utilizar la versión más reciente de AWS CLI.

Cuando se produce un error en la actualización de un grupo de nodos administrado, el motivo del error se devuelve como un código de error a través de la consola de administración de AWS o el comando describe-update de AWS CLI.

Elige una resolución basada en el error que se muestre.

La plantilla de inicio no coincide con la configuración esperada

Si modificas o eliminas la plantilla de inicio asociada al grupo de nodos, la actualización puede fallar y provocar errores relacionados con la configuración de la plantilla de inicio. Estos errores se producen si cambias manualmente la plantilla de inicio o si la versión de la plantilla de inicio a la que hace referencia el grupo de nodos ya no existe.

Para resolver este problema, comprueba que el grupo de escalamiento automático utilice la versión de la plantilla de inicio que se asoció originalmente al grupo de nodos. Además, anula los cambios no deseados en la plantilla de inicio.

Amazon EKS no encuentra la plantilla de inicio

Si eliminas la plantilla de inicio a la que hace referencia el grupo de nodos, la actualización fallará y aparecerá un error que indica que la plantilla de inicio no existe. La plantilla de inicio que falta impide que el grupo de escalamiento automático inicie nodos de reemplazo durante el proceso de actualización.

Para resolver este problema, restaura o vuelve a crear la plantilla de inicio y asocia la versión correcta al grupo de nodos. A continuación, actualiza de nuevo el grupo de nodos administrado.

La configuración de la plantilla de inicio no es válida

Si la plantilla de inicio contiene parámetros que no son válidos, el grupo de escalamiento automático no puede iniciar nuevas instancias de Amazon Elastic Compute Cloud (Amazon EC2). Por ejemplo, los parámetros que no son válidos incluyen datos de usuario incorrectos, asignaciones de dispositivos de bloques no compatibles o ajustes de configuración incompatibles.

Para resolver este problema, revisa la configuración de la plantilla de inicio y, a continuación, corrige los ajustes que no sean válidos. A continuación, actualiza de nuevo el grupo de nodos administrado.

Solución de problemas de configuración de la AMI

Elige una resolución basada en el error que se muestre.

Amazon EC2 no puede encontrar la AMI

Si eliminas la AMI especificada en la plantilla de inicio, el grupo de escalamiento automático no podrá iniciar nuevos nodos durante la actualización. Tampoco puedes iniciar un nuevo grupo de nodos si la AMI está en una región diferente.

Para resolver este problema, actualiza la plantilla de inicio para que haga referencia a una AMI válida y, a continuación, actualiza de nuevo el grupo de nodos administrado.

ID de AMI incorrecto

Si el ID de AMI especificado en la plantilla de inicio es incorrecto, Amazon EC2 no puede iniciar instancias. Un ID de AMI incorrecto impide que el proceso de actualización cree nuevos nodos de trabajo.

Para resolver este problema, comprueba que el ID de AMI es válido y, a continuación, actualiza la plantilla de inicio con una imagen correcta. A continuación, actualiza de nuevo el grupo de nodos administrado.

Solución de errores de inicio de nodos

Elige una resolución basada en el error que se muestre.

El tipo de instancia especificado no existe

Si la plantilla de inicio hace referencia a un tipo de instancia de EC2 que no es válido o compatible, las solicitudes de inicio de instancias fallan durante la actualización. Las solicitudes de inicio de instancias fallan cuando el tipo de instancia está mal escrito o no se admite en la región seleccionada.

Para resolver este problema, actualiza la plantilla de inicio para usar un tipo de instancia válido y, a continuación, actualiza de nuevo el grupo de nodos administrado.

Ec2InsufficientCapacity

Si el tipo de instancia solicitado no está disponible temporalmente en la zona de disponibilidad seleccionada, la actualización falla y se produce un error de capacidad insuficiente.

Para resolver este problema, usa zonas de disponibilidad adicionales o diferentes tipos de instancias y, a continuación, actualiza de nuevo el grupo de nodos administrado.

Error InstanceLimitExceeded

Si tu cuenta de AWS alcanza su cuota de instancias de Amazon EC2, el grupo de escalamiento automático no podrá iniciar nodos de reemplazo durante la actualización.

Para resolver este problema, solicita un aumento de la cuota o reduce el número de instancias en ejecución. A continuación, actualiza de nuevo el grupo de nodos administrado.

Error AsgInstanceLaunchFailures

Si eliminas o modificas el grupo de escalamiento automático que respalda al grupo de nodos fuera de Amazon EKS, la actualización fallará porque Amazon EKS no puede administrar los reemplazos de nodos.

Para resolver este problema, valida la configuración del grupo de nodos y vuelve a crear el grupo de nodos si el grupo de escalamiento automático subyacente ya no existe.

La configuración del grupo de escalamiento automático no es válida

Si la configuración del grupo de escalamiento automático no es coherente con la configuración del grupo de nodos, la actualización puede fallar. Las modificaciones manuales de la plantilla de inicio, las subredes o los parámetros de escalado fuera de Amazon EKS pueden provocar esta incoherencia.

Para resolver este problema, restaura la configuración del grupo de escalamiento automático para que coincida con la configuración esperada del grupo de nodos. A continuación, actualiza de nuevo el grupo de nodos administrado.

Solución de errores de configuración de red

Elige una resolución basada en el error que se muestre.

La configuración de subred no es válida

Si las subredes asociadas al grupo de nodos no están configuradas correctamente o no pueden enrutar el tráfico correctamente, los nuevos nodos no se pueden unir al clúster. Las subredes privadas que carecen de una puerta de enlace NAT o que carecen de reglas de enrutamiento pueden provocar este error.

Para resolver este problema, asegúrate de que el enrutamiento y la conectividad de la subred permitan a los nodos comunicarse con el plano de control del clúster.

El grupo de seguridad especificado no existe

Si eliminas un grupo de seguridad al que hace referencia la plantilla de inicio o la configuración del grupo de nodos, no podrás iniciar nuevos nodos.

Para resolver este problema, actualiza la configuración para que haga referencia a un grupo de seguridad válido y, a continuación, actualiza de nuevo el grupo de nodos administrado.

La configuración del grupo de seguridad no es válida

Si los grupos de seguridad asociados contienen reglas que están en conflicto o no son válidas, los nuevos nodos no se inician ni se conectan al clúster.

Para resolver este problema, comprueba que los grupos de seguridad permitan la comunicación entrante y saliente requerida entre los nodos de trabajo y el plano de control del clúster.

Error InsufficientFreeAddresses

Si la subred asociada al grupo de nodos se queda sin direcciones IP disponibles, el grupo de escalamiento automático no podrá iniciar nodos adicionales durante la actualización.

Para resolver este problema, amplía el rango de CIDR de subred o agrega subredes adicionales para proporcionar más direcciones IP disponibles.

Solución de errores de registro de nodos

Elige una resolución basada en el error que se muestre.

Los nodos nuevos no pueden unirse al clúster

Si inicias instancias correctamente, pero las instancias no se registran en el clúster de Kubernetes, la actualización falla y se produce un error de creación de nodos. La actualización fallida se produce cuando el rol de AWS Identity and Access Management (IAM) del nodo carece de los permisos necesarios, el script de arranque falla o el ConfigMap de aws-auth no incluye el rol del nodo.

Para resolver este problema, valida las políticas de IAM, la configuración de arranque y los ajustes de autenticación del clúster de tu nodo. Para las entradas de acceso, asegúrate de especificar el rol de nodo con los permisos de EC2. Para obtener más información, consulta Rol de IAM de nodo de Amazon EKS.

Acceso denegado por falta de permisos de IAM

Si el rol de IAM del nodo no incluye los permisos necesarios para los nodos de trabajo, los nodos no pueden comunicarse con los servicios de AWS necesarios.

Para resolver este problema, asegúrate de que el rol de IAM del nodo incluya las políticas de IAM necesarias, como AmazonEKSWorkerNodePolicy y AmazonEC2ContainerRegistryReadOnly.

Solución de errores de clústeres inalcanzables

Elige una resolución basada en el error que se muestre.

Los nodos de trabajo no pueden llegar al punto de enlace del clúster

Si los nodos de trabajo no pueden conectarse al servidor de API de Kubernetes, la actualización falla y se produce un error de clúster inalcanzable. Las restricciones de los grupos de seguridad, la falta de acceso a la puerta de enlace NAT para los nodos privados o una configuración de punto de enlace incorrecta pueden impedir que los nodos de trabajo se conecten al servidor de API de Kubernetes.

Para resolver este problema, verifica la conectividad de red entre los nodos de trabajo y el punto de enlace del clúster.

Resolución de errores de estado de actualización

Error Another update is already in progress

Si ya se está ejecutando una operación de actualización en el grupo de nodos, Amazon EKS rechazará las solicitudes de actualización adicionales hasta que finalice la operación actual.

Para resolver este problema, espera a que finalice la actualización existente y, a continuación, vuelve a actualizar el grupo de nodos administrado.

Los parámetros de solicitud no son válidos

Si la solicitud de actualización contiene parámetros que no son válidos, como una versión no compatible o valores de configuración incorrectos, se produce un error en la actualización. Se muestra un mensaje de error para los parámetros que no son válidos.

Para resolver este problema, revisa la solicitud de actualización y asegúrate de que la configuración del grupo de nodos admite todos los parámetros. A continuación, actualiza de nuevo el grupo de nodos administrado.

Amazon EKS no puede encontrar el grupo de nodos

Si el nombre del grupo de nodos proporcionado en la solicitud de actualización no existe, la operación de actualización fallará.

Para resolver este problema, asegúrate de especificar el nombre del clúster y el nombre del grupo de nodos correctos. A continuación, actualiza de nuevo el grupo de nodos administrado.

Error UnsupportedKubernetesVersion

Si actualizas el grupo de nodos a una versión de Kubernetes que el plano de control del clúster no admite, la actualización fallará.

Para resolver este problema, asegúrate de que la versión del grupo de nodos sea compatible con el clúster actual. A continuación, actualiza de nuevo el grupo de nodos administrado.

Error KubernetesVersionMismatch

Amazon EKS no permite que los grupos de nodos ejecuten una versión de Kubernetes más reciente que el plano de control. Si una actualización intenta actualizar el grupo de nodos más allá de la versión del clúster, se produce un error en la operación.

Para resolver este problema, actualiza el plano de control y, después, actualiza el grupo de nodos.

El grupo de nodos ha dejado de estar en buen estado durante la actualización

Si se producen errores repetidos en el inicio de instancias o problemas de preparación de los nodos durante el proceso de actualización continua, Amazon EKS marca el grupo de nodos como en mal estado. A continuación, Amazon EKS detiene el proceso de actualización.

Para resolver este problema, investiga los errores de inicio de instancias, los registros de inicialización de nodos y la conectividad de red. A continuación, actualiza de nuevo el grupo de nodos administrado.

Información relacionada

Personalización de nodos administrados con plantillas de lanzamiento

Solución de problemas con los clústeres y nodos de Amazon EKS