Wie behebe ich Verbindungsfehler für meinen Amazon MSK-Cluster?
Ich erhalte eine Fehlermeldung, wenn ich versuche, eine Verbindung zu meinem Amazon Managed Streaming für Apache Kafka (Amazon MSK)-Cluster herzustellen.
Lösung
Befolge diese Schritte zur Fehlerbehebung für die Fehlermeldung, die du erhalten hast.
„java.lang.OutOfMemoryError: Java heap space“
Du erhältst möglicherweise den genannten Fehler, wenn du einen Befehl für Cluster-Operationen ohne die Client-Eigenschaftendatei ausführst. Um dieses Problem zu beheben, nimm die Eigenschaften auf der Grundlage des Authentifizierungstyps in die Datei client.properties auf.
Beispielbefehl mit nur einem AWS Identity and Access Management (IAM)-Authentifizierungsport:
./kafka-topics.sh --create --bootstrap-server $BOOTSTRAP:9098 --replication-factor 3 --partitions 1 --topic TestTopic
Beispielbefehl mit einem IAM-Authentifizierungsport und der Datei client properties:
./kafka-topics.sh --create --bootstrap-server $BOOTSTRAP:9098 --command-config client.properties --replication-factor 3 --partitions 1 --topic TestTopic
„org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: createTopics“
Möglicherweise erhältst du den genannten Fehler, wenn eine Netzwerkfehlkonfiguration zwischen der Client-Anwendung und dem Amazon MSK-Cluster vorliegt.
Um dieses Problem zu beheben, führe den folgenden telnet-Befehl aus, um die Konnektivität vom Client-Computer zu testen:
telnet bootstrap-broker port-number
Hinweis: Ersetze bootstrap-broker durch eine der Broker-Adressen aus deinem Amazon MSK-Cluster. Ersetze port-number durch den Portwert, der auf der für den Cluster aktivierten Authentifizierung basiert.
Wenn der Client-Computer auf die Broker zugreifen kann, gibt es keine Verbindungsprobleme. Wenn der Client-Computer nicht auf die Broker zugreifen kann, überprüfe die Konfigurationseinstellungen für die Netzwerkkonnektivität. Überprüfe die Regeln für eingehenden und ausgehenden Datenverkehr für die Sicherheitsgruppe.
„org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [test_topic]“
Möglicherweise erhältst du den vorherigen Fehler, wenn du IAM-Authentifizierung verwendest und deine Zugriffsrichtlinie Themenoperationen wie WriteData und ReadData blockiert.
Hinweis: Berechtigungsgrenzen und Service Control Policies (SCPs) blockieren auch den Versuch eines Benutzers, ohne die erforderliche Autorisierung eine Verbindung zum Cluster herzustellen.
Wenn du eine Authentifizierung verwendest, bei der es sich nicht um IAM handelt, überprüfe, ob du Zugriffssteuerungslisten (ACLs) auf Themenebene hinzugefügt hast, die Operationen blockieren.
Führe den folgenden Befehl aus, um die ACLs aufzulisten, die auf ein Thema angewendet werden:
bin/kafka-acls.sh --bootstrap-server $BOOTSTRAP:PORT --command-config adminclient-configs.conf --list --topic testtopic
„ZooKeeperClientTimeoutException“
Der genannte Fehler kann auftreten, wenn der Client versucht, über die Apache ZooKeeper-Zeichenfolge eine Verbindung zum Cluster herzustellen, und die Verbindung nicht hergestellt werden kann. Möglicherweise erhältst du diesen Fehler auch, wenn die Apache ZooKeeper-Zeichenfolge falsch ist.
Beispiel für eine falsche Apache Zookeeper-Zeichenfolge:
./kafka-topics.sh --zookeeper z-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181,z-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181,z-3.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:2181 --list[2020-04-10 23:58:47,963] WARN Client session timed out, have not heard from server in 10756ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)
Beispielausgabe:
[2020-04-10 23:58:58,581] WARN Client session timed out, have not heard from server in 10508ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn)[2020-04-10 23:59:08,689] WARN Client session timed out, have not heard from server in 10004ms for sessionid 0x0 (org.apache.zookeeper.ClientCnxn) Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:259) at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23) at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253) at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:255) at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:113) at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1858) at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:321) at kafka.admin.TopicCommand$.main(TopicCommand.scala:54) at kafka.admin.TopicCommand.main(TopicCommand.scala)
Gehe wie folgt vor, um dieses Problem zu beheben:
- Stelle sicher, dass du die richtige Apache ZooKeeper-Zeichenfolge verwendet hast.
- Stelle sicher, dass die Sicherheitsgruppe für den Amazon MSK-Cluster eingehenden Datenverkehr von der Sicherheitsgruppe des Clients auf den Apache ZooKeeper-Ports zulässt.
- Wenn deine Apache ZooKeeper-Knoten einer anderen Sicherheitsgruppe zugeordnet sind als die MSK-Broker oder der Client, überprüfe deine Konfigurationsanforderungen. Die Sicherheitsgruppe des Clients muss die Konnektivität zur Sicherheitsgruppe zulassen, die den ZooKeeper-Knoten an den erforderlichen ZooKeeper-Ports zugeordnet ist. Die Regeln für eingehenden Datenverkehr der Sicherheitsgruppe für die ZooKeeper-Netzwerkschnittstelle müssen die Konnektivität vom Client zulassen.
„Broker may not be unavailable“
<topicName><node-id><broker-host><broker-ip><port>„Topic not present in metadata after 60000 ms. or Connection to node - (/:) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)“
Möglicherweise erhältst du den oben genannten Fehler, wenn eine der folgenden Bedingungen zutrifft:
- Der Produzent oder Verbraucher kann keine Verbindung zum Broker-Host und -Port herstellen.
- Die Broker-Zeichenfolge ist falsch.
Wenn du diesen Fehler erhältst, obwohl die Client- oder Broker-Konnektivität ursprünglich funktioniert hat, ist der Broker möglicherweise nicht verfügbar.
Dieser Fehler kann auch auftreten, wenn du die Broker-Zeichenfolge verwendest, um von außerhalb der Virtual Private Cloud (VPC) auf den Cluster zuzugreifen.
Beispiel für eine Produzent-Broker-Zeichenfolge:
./kafka-console-producer.sh --broker-list b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092 --topic test
Beispielausgabe:
[2020-04-10 23:51:57,668] ERROR Error when sending message to topic test with key: null, value: 1 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.
Beispiel für eine Verbraucher-Broker-Zeichenfolge:
./kafka-console-consumer.sh --bootstrap-server b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092,b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com:9092 --topic test
Beispielausgabe:
[2020-04-11 00:03:21,157] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -1 (b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.6.19:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)[2020-04-11 00:04:36,818] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -2 (b-1.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.44.252:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) [2020-04-11 00:05:53,228] WARN [Consumer clientId=consumer-console-consumer-88994-1, groupId=console-consumer-88994] Connection to node -1 (b-2.encryption.3a3zuy.c7.kafka.us-east-1.amazonaws.com/172.31.6.19:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
Gehe wie folgt vor, um diesen Fehler zu beheben:
- Stelle sicher, dass du die richtige Broker-Zeichenfolge und den richtigen Port verwendest.
- Wenn der Broker für von ZooKeeper verwaltete Cluster nicht verfügbar ist, überprüfe die Amazon CloudWatch-Metrik ActiveControllerCount. Überprüfe dann, ob der Controller in diesem Zeitraum aktiv war. Wenn der Wert der Metrik nicht 1 ist, ist einer der Broker im Cluster möglicherweise nicht verfügbar. Verwende die Summenstatistik über einen Zeitraum von 1 Minute, um die Metrik anzuzeigen.
- Überprüfe die ZooKeeperSessionState-Metrik, um zu bestätigen, dass die Broker kontinuierlich mit den Apache ZooKeeper-Knoten kommunizieren.
- Um zu verstehen, warum der Broker ausgefallen ist, überprüfe die Metrik KafkaDataLogsDiskUsed, um festzustellen, ob dem Broker der Speicherplatz ausgegangen ist. Weitere Informationen findest du unter Amazon MSK metrics for monitoring Standard brokers with CloudWatch (Amazon MSK-Metriken für die Überwachung von Standard-Brokern mit CloudWatch).
- Prüfe, ob die Netzwerkkonfiguration das Problem verursacht hat. Amazon MSK-Ressourcen werden innerhalb der VPC bereitgestellt. Du musst eine Verbindung zum Amazon MSK-Cluster herstellen oder über ein privates Netzwerk in derselben VPC produzieren. Weitere Informationen findest du unter Unable to access cluster from within AWS: networking issues. Siehe auch How do I connect to my Amazon MSK cluster from inside AWS network but outside the cluster's Amazon VPC? (Wie stelle ich eine Verbindung zu meinem Amazon MSK-Cluster von innerhalb des AWS-Netzwerks, aber außerhalb der Amazon VPC des Clusters her?) in den Amazon MSK-FAQs.
„Topic not present in metadata“
„org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms“
Möglicherweise erhältst du den genannten Fehler, wenn das Thema, in das du schreiben wolltest, in Amazon MSK nicht existiert. Prüfe, ob das Thema im Amazon MSK-Cluster existiert. Stelle sicher, dass du in der Client-Konfiguration die richtige Broker-Zeichenfolge und den richtigen Port verwendet hast. Wenn das Thema nicht existiert, erstelle das Thema entweder in Amazon MSK oder setze auto.create.enable in der Cluster-Konfiguration auf true (wahr).
Hinweis: Wenn auto.create.enable auf true (wahr) gesetzt ist, werden Themen automatisch erstellt.
Möglicherweise erhältst du diesen Fehler auch, wenn das Thema existiert, die Partition jedoch nicht. Zum Beispiel hast du eine einzelne Partition [0] und der Producer versucht, an Partition [1] zu senden.
Stelle sicher, dass die Sicherheitsgruppe des Amazon MSK-Clusters eingehenden Datenverkehr von der Sicherheitsgruppe der Client-Anwendung an den erforderlichen Ports zulässt.
Wenn der Fehler plötzlich auftritt, nachdem das System zuvor funktioniert hat, ergreife die folgenden Maßnahmen, um den Status des Amazon MSK-Brokers zu überprüfen:
- Überprüfe für von ZooKeeper verwaltete Cluster die Metrik ActiveControllerCount. Der Wert muss 1 sein. Wenn die Metrik einen anderen Wert hat, ist einer der Broker im Cluster nicht verfügbar. Verwende die Summenstatistik über einen Zeitraum von 1 Minute, um die Metrik anzuzeigen.
- Überprüfe die ZooKeeprSessionState-Metrik, um zu bestätigen, dass die Broker kontinuierlich mit den ZooKeeper-Knoten kommunizieren.
- Überwache die KafkaDataLogsDiskUsed-Metrik, um sicherzustellen, dass dem Broker nicht der Speicherplatz ausgeht.
Stelle sicher, dass du nicht versucht hast, ohne die richtige Konfiguration von außerhalb der VPC auf den Cluster zuzugreifen. Amazon MSK-Ressourcen werden standardmäßig innerhalb der VPC bereitgestellt. Du musst eine Verbindung über ein privates Netzwerk in derselben VPC herstellen.
Wenn du versuchst, von außerhalb der VPC auf den Cluster zuzugreifen, stelle sicher, dass du die erforderlichen Netzwerkkonfigurationen für den AWS-Service einrichtest. Zum Beispiel AWS Client VPN oder AWS Direct Connect.
Weitere Informationen
Connect to an Amazon MSK Provisioned cluster (Eine Verbindung zu einem von Amazon MSK bereitgestellten Cluster herstellen)
Troubleshoot your Amazon MSK cluster (Problembehandlung bei Amazon-MSK-Clustern)
- Themen
- Analytics
- Sprache
- Deutsch

Relevanter Inhalt
AWS OFFICIALAktualisiert vor 7 Monaten
AWS OFFICIALAktualisiert vor einem Jahr