Wie behebe ich Probleme, wenn ich meinen Amazon-MSK-Cluster aktualisiere?

Behebung

Hinweis: Wenn du beim Ausführen von AWS Command Line Interface (AWS CLI)-Befehlen Fehlermeldungen erhältst, findest du weitere Informationen dazu unter Problembehandlung bei der AWS CLI. Stelle außerdem sicher, dass du die neueste Version der AWS CLI verwendest.

Überlegungen und bewährte Methoden

Bevor du den Amazon-MSK-Cluster aktualisierst, solltest du dich mit den folgenden bewährten Methoden vertraut machen:

• Stelle den Replikationsfaktor für den Cluster auf 3 oder höher ein. Ein Replikationsfaktor von 1 kann während einer parallelen Aktualisierung zu Offline-Partitionen führen. Der Replikationsfaktor 2 kann zu Datenverlust führen.
• Lege die Mindestanzahl synchronisierter Replikate (minISR) auf einen Wert des Replikationsfaktors von –1 oder weniger fest. Wenn der minISR-Wert dem Replikationsfaktor entspricht, blockiert er möglicherweise die Cluster-Produktion während einer parallelen Aktualisierung. Bei einem minISR-Wert von 2 können dreifach replizierte Themen verfügbar sein, wenn ein Replikat offline ist.
• Bevor du die Konfiguration eines Clusters aktualisierst, stelle sicher, dass sich der Cluster im Zustand ACTIVE befindet.
• Verwende die empfohlene Apache-Kafka-Version, wenn du neue Amazon-MSK-Cluster erstellst.
• Nimm mindestens einen Broker aus jeder Availability Zone in die Client-Zeichenfolgen auf. Mehrere Broker in der Verbindungszeichenfolge eines Clients ermöglichen Failovers, wenn ein bestimmter Broker für eine Aktualisierung offline geht.
• Verwende Apache Kafka AdminClient Version 2.8.0 oder höher für die Themenverwaltung.
• Aktualisiere die verbindenden Clients auf die empfohlene Version oder höher. Client-Upgrades unterliegen nicht den End-of-Life (EOL)-Daten der Kafka-Version des Amazon-MSK-Clusters.
  Hinweis: Apache Kafka bietet eine bidirektionale Client-Kompatibilitätsrichtlinie, die es älteren Clients ermöglicht, mit neueren Clustern zu arbeiten, und es neueren Clients ermöglicht, mit älteren Clustern zu arbeiten. Weitere Informationen findest du unter Compatibility (Kompatibilität) auf der Apache-Kafka-Website.
• Führe ein Upgrade des Clusters in Zeiten mit geringem Datenverkehr durch. Die Zeit, die für das Upgrade der Apache-Kafka-Version benötigt wird, hängt von der Anzahl der Broker im Cluster ab.
  Hinweis: Wenn du die Cluster-Version aktualisierst, kannst du keine weiteren Aktualisierungen vornehmen, bis das Versionsupgrade abgeschlossen ist. Du kannst während des Upgrades jedoch weiterhin vom Cluster aus produzieren und ihn nutzen.

Hinweis: Wenn du den Instance-Typ aktualisierst, aktualisierst du die Cluster-Version nicht automatisch.

Weitere Informationen findest du unter Bewährte Methoden für Versionsupgrades.

Das Upgrade überwachen

Wenn du einen Amazon-MSK-Cluster erstellst, kannst du angeben, welche Apache-Kafka-Version du auf dem Cluster benötigst. Du kannst den Cluster auch auf eine neuere Version von Apache Kafka aktualisieren, nachdem du den Cluster erstellt hast.

Du kannst den Fortschritt der Aktualisierung auf der Registerkarte Cluster-Vorgänge in der Amazon-MSK-Konsole überwachen. Wenn das Upgrade 17 % erreicht hat, kann es mehrere Stunden dauern, bis das Upgrade abgeschlossen ist.

Hinweis: Amazon MSK führt das Upgrade im Rahmen eines parallelen Neustartprozesses durch. Amazon MSK entfernt jeweils einen Broker aus dem Cluster und aktualisiert dessen Kafka-Version. Der aktualisierte Broker tritt dem Cluster wieder bei und Amazon MSK entfernt den nächsten Broker. Dieser Prozess wird fortgesetzt, bis Amazon MSK den letzten Broker mit der neuen Kafka-Version aktualisiert.

Um den Upgrade-Fortschritt im Cluster über die AWS-CLI zu überwachen, führe den Befehl describe-cluster-operations aus:

aws kafka describe-cluster-operation —cluster-operation-arn ClusterOperationArn

Wenn der Vorgang den Status Unvollständig oder Fehlgeschlagen hat, wende dich an den AWS Support.

Fehler beheben

Partitionsvorgänge auf einem Broker nutzen große Mengen an Systemressourcen. Wenn du eine höhere Anzahl von Partitionen als das empfohlene Limit hast, kann dies zu einer Belastung der verfügbaren Ressourcen im Cluster führen. Wenn die Cluster-Ressourcen überlastet sind, kannst du die Cluster-Konfiguration, die Apache-Kafka-Version für den Cluster nicht aktualisieren oder den Cluster nicht auf einen kleineren Broker-Typ aktualisieren. Wenn die Anzahl der Partitionen pro Broker den empfohlenen Wert überschreitet, erhältst du eine der folgenden Fehlermeldungen:

„Error updating cluster configuration There was a problem updating cluster configuration. If the problem persists, contact AWS Support. The number of partitions per broker is above the recommended limit. Add more brokers and rearrange the partitions per broker to be below the recommended limit, then retry the request.“

-oder-

„Upgrade is stuck in the stage 'Initializing upgrade'“

Gehe wie folgt vor, um die vorherigen Fehler zu beheben:

• Erhöhe die Anzahl der Broker innerhalb des Clusters. Ordne dann Partitionen neu zu, um die Anzahl der Partitionen pro Broker zu reduzieren. Verwende Amazon-CloudWatch-Metriken, um die Anzahl der Partitionen pro Broker zu überwachen. Weitere Informationen findest du unter Amazon-MSK-Standardkonfiguration.
• Lösche ungenutzte Themen. Führe den folgenden Befehl aus, um alle Themen zum Cluster und die Anzahl der Partitionen anzuzeigen:

  KAFKA_ROOT/bin/kafka-topics.sh --bootstrap-server
  BOOTSTRAP_SERVER --describe --topic Topic_name

  Hinweis: Ersetze Topic_name durch den Themennamen.
  Bevor du den vorherigen Befehl ausführst, richte einen Apache-Kafka-Client auf einem Amazon Elastic Compute Cloud (Amazon EC2)-Computer ein
• Ändere den Instance-Typ auf einen höheren Instance-Typ.