Comment résoudre les problèmes liés à Container Insights pour mes clusters Amazon EKS ?

Résolution

Remarque : Si des erreurs surviennent lorsque vous exécutez des commandes de l'interface de la ligne de commande AWS (AWS CLI), consultez la section Résoudre des erreurs liées à l’AWS CLI. Vérifiez également que vous utilisez bien la version la plus récente de l’AWS CLI.

Vérifier votre installation de Container Insights

Pour vérifier si vous avez correctement installé Container Insights sur votre cluster Amazon EKS, exécutez la commande suivante :

kubectl get pods -n amazon-cloudwatch

Puis, exécutez la commande suivante pour votre pod :

kubectl describe pod pod-name -n amazon-cloudwatch

Remarque : Remplacez pod-name par le nom du pod.

Consultez la section Événements de la sortie de la commande.

Pour vérifier vos journaux CloudWatch, exécutez la commande suivante :

kubectl logs pod-name  -n amazon-cloudwatch

Installer CloudWatch Observability en tant que module complémentaire géré par Amazon EKS

Utilisez le module complémentaire Amazon EKS pour installer Container Insights avec une observabilité améliorée pour Amazon EKS.

Remarque : Vous pouvez utiliser le module complémentaire CloudWatch Observability EKS sur les clusters Amazon EKS qui exécutent uniquement Kubernetes version 1.23 ou ultérieure.

Pour installer CloudWatch Observability en tant que module complémentaire autogéré, procédez comme suit :

1. Pour installer cert-manager, exécutez la commande suivante :

   kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.16.1/cert-manager.yaml

2. Pour installer les définitions de ressources personnalisées (CRD), exécutez la commande suivante :

   curl https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/main/k8s-quickstart/cwagent-custom-resource-definitions.yaml | kubectl apply --server-side -f -

3. Pour installer l'opérateur de l'agent de conteneur CloudWatch, exécutez la commande suivante :

   ClusterName=my-cluster-name
   RegionName=my-cluster-region
   curl https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/main/k8s-quickstart/cwagent-operator-rendered.yaml | sed 's/{{cluster_name}}/'${ClusterName}'/g;s/{{region_name}}/'${RegionName}'/g' | kubectl apply -f -

Résoudre les problèmes liés aux métriques qui n'apparaissent pas sur la console de gestion AWS

Si les statistiques de Container Insights ne s'affichent pas sur la console de gestion AWS, vérifiez que vous avez terminé la configuration de Container Insights.

Résoudre les erreurs de Container Insights

Panique non autorisée : Impossible de récupérer les données de cadvisor depuis kubelet

Pour résoudre ce problème, veillez à activer le mode d'autorisation Webhook dans votre kubelet.

Erreur de point de terminaison non valide

Exemple de message d'erreur :

« log » : « 2020-04-02T08:36:16Z E! cloudwatchlogs: code: InvalidEndpointURL, message: invalid endpoint uri, original error: &url.Error{Op:\"parse\", URL:\"https://logs.{{region_name}}.amazonaws.com/\", Err:\"{\"}, &awserr.baseError{code:\"InvalidEndpointURL\", message:\"invalid endpoint uri\", errs:[]error{(*url.Error)(0xc0008723c0)}}\n",

Pour résoudre ce problème, veillez à remplacer toutes les valeurs d'espace réservé dans vos commandes. Par exemple, vérifiez que les informations que vous utilisez pour cluster-name et region-name sont correctes pour votre déploiement lorsque vous exécutez l'AWS CLI.

Métriques de pod manquantes sur Amazon EKS ou Kubernetes après la mise à niveau du cluster

Exemple de message d'erreur :

« W! No pod metric collected »

Si les métriques de votre pod sont manquantes après la mise à niveau de votre cluster, vérifiez que l'exécution du conteneur sur le nœud fonctionne comme prévu.

Pour résoudre ce problème, mettez à jour votre manifeste de déploiement pour monter le socket containerd de l'hôte dans le conteneur.

Exemple de manifeste de déploiement :

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: cloudwatch-agent
  namespace: amazon-cloudwatch
spec:
  template:
    spec:
      containers:
        - name: cloudwatch-agent
# ...
          # Don't change the mountPath
          volumeMounts:
# ...
            - name: dockersock
              mountPath: /var/run/docker.sock
              readOnly: true
            - name: varlibdocker
              mountPath: /var/lib/docker
              readOnly: true
            - name: containerdsock # NEW mount
              mountPath: /run/containerd/containerd.sock
              readOnly: true
# ...
      volumes:
# ...
        - name: dockersock
          hostPath:
            path: /var/run/docker.sock
        - name: varlibdocker
          hostPath:
            path: /var/lib/docker
        - name: containerdsock # NEW volume
          hostPath:
            path: /run/containerd/containerd.sock

Pour un exemple complet du manifeste, consultez la page cwagent-daemonset.yaml sur le site de GitHub.

Aucune métrique de pod lors de l'utilisation de Bottlerocket pour Amazon EKS

Exemple de message d'erreur :

« W! No pod metric collected »

Bottlerocket utilise un chemin de conteneur différent sur l'hôte. Si vous utilisez Bottlerocket, vous devez modifier tous les volumes en fonction de l'emplacement du chemin du conteneur Bottlerocket.

Exemple de commande :

volumes:
  # ...
    - name: containerdsock
      hostPath:
        # path: /run/containerd/containerd.sock
        # bottlerocket does not mount containerd sock at normal place
        # https://github.com/bottlerocket-os/bottlerocket/commit/91810c85b83ff4c3660b496e243ef8b55df0973b
        path: /run/dockershim.sock

Augmentation inattendue du volume de journaux provenant de l'agent CloudWatch lors de la collecte de métriques Prometheus

Pour résoudre ce problème, mettez à jour l'agent CloudWatch avec la dernière version disponible. Pour trouver votre version actuelle, consultez la section Recherche d'informations sur les versions de l’agent CloudWatch. Pour installer la dernière version, consultez la section Installation de l'agent CloudWatch.

Erreur CrashLoopBackoff sur l'agent CloudWatch

Pour résoudre ce problème, assurez-vous d'avoir correctement configuré vos autorisations AWS Identity and Access Management (IAM).

L'agent CloudWatch ou le pod Fluentd sont bloqués en attente

Votre pod est peut-être bloqué à l'état En attente. Ou bien, vous recevez une erreur FailedScheduling de la part de votre agent CloudWatch ou de vos pods Fluentd. Pour résoudre ce problème, vérifiez que vos nœuds disposent de ressources de calcul suffisantes en fonction de la quantité de code et de la RAM dont les agents ont besoin.

Pour décrire les pods, exécutez la commande suivante :

kubectl describe pod cloudwatch-agent-85ppg -n amazon-cloudwatch

Le Configmap pour Fluent Bit n'est pas déployée correctement

Pour résoudre ce problème, vérifiez que vous avez correctement déployé le config map fluent-bit-config dans l'espace de noms amazon-cloudwatch.

Exemples de messages d’erreur :

[2024/10/02 11:16:42] [error] [config] inconsistent use of tab and space
[2024/10/02 11:16:42] [error] [config] error in /fluent-bit/etc/..2024_10_02_11_16_29.3759745087//application-log.conf:62: invalid indentation level
[2024/10/02 11:16:42] [error] configuration file contains errors, aborting.cwagent-daemonset.yaml