Wie behebe ich fehlgeschlagene AWS Glue-Verbindungen zu externen Datenquellen?

Lösung

Zuerst solltest du Probleme bei einer fehlgeschlagenen Testverbindung beheben. Kann AWS Glue weiterhin keine Verbindung zu deiner Datenquelle herstellen, wende für den Connector, den du nutzt, folgende Lösung an.

Probleme bei OpenSearch-Verbindungen

Wenn du die Fehlermeldung „Cannot detect OpenSearch version“ erhältst, gehe wie folgt vor:

• Setze in den Verbindungseigenschaften für deine Cloud- oder WAN-Umgebung (Wide Area Network) opensearch.nodes.wan.only auf true.
• Wenn du Elasticsearch verwendest, gib folgenden Code in deinen Cluster ein, um den Kompatibilitätsmodus zu aktivieren:

  PUT /_cluster/settings  
  {  
    "persistent": {  
      "compatibility.override_main_response_version": true  
    }  
  }

Probleme bei Kafka-Verbindungen

Kafka akzeptiert nur Schlüsselspeicher im Format „.jks“. Wenn du die Fehlermeldung „Failed to load SSL keystore“ erhältst, dann prüfe, ob dein Schlüsselspeicher das Format „.jks“ aufweist.

Probleme bei MongoDB-Verbindungen

Wende die Lösung für den Fehler an, den du erhalten hast.

MongoDB-Authentifizierungsfehler

Erhältst du den Fehler „Exception authenticating MongoCredential“, dann überprüfe, ob folgende Voraussetzungen hinsichtlich der Konfiguration zutreffen:

• Dein Benutzername und dein Passwort entsprechen den MongoDB-Anmeldeinformationen, die deine Anwendung verwendet.
• Für deine Authentifizierungsmethode ist die richtige Authentifizierungsdatenbank festgelegt.
• Du hast die URL der MongoDB-Verbindung in deinem Authentifizierungsmechanismus und deiner Authentifizierungsquelle korrekt formatiert.

Weitere Informationen findest du auf der Website von MongoDB unter Verbindung zu JDBC-Treiber herstellen.

Fehler bei MongoDB- oder DocumentDB-Verbindungen in AWS Glue 4.0

Erhältst du bei der Verwendung von AWS Glue 4.0 folgende Fehlermeldung, dann prüfe, ob du die Eigenschaften und URL-Formate des MongoDB-Connectors korrekt konfiguriert hast:

„Mongo/DocumentDB connection URL is not supported.“

Weitere Informationen findest du auf der Website von MongoDB unter Konfigurationsoptionen zum Lesen von Batches.

Fehler bei Snowflake-Verbindungen

Prüfe zunächst, ob folgende Voraussetzungen hinsichtlich der Konfiguration zutreffen:

• Dein AWS Glue-Job verwendet eine Snowflake-Verbindung.
• Du hast die URL-Parameter deiner Snowflake-Verbindung in der Reihenfolge user, database, role_name und warehouse konfiguriert.
• Deine Verbindung entspricht den Einschränkungen für Snowflake-Connectors von AWS Glue.

Wende dann die Lösung für den Fehler an, den du erhalten hast.

Fehler bei Verbindungen, die du mit Boto3 hergestellt hast

Wenn du Boto3 verwendet hast, um deine Snowflake-Verbindung herzustellen, solltest du prüfen, ob du den Parameter SparkProperties richtig konfiguriert hast.

Beispielkonfiguration mit korrekter Eigenschaft:

{  
     "Connection": {  
         "Name": "Snowflake connection",  
         "Description": "",  
         "ConnectionType": "SNOWFLAKE",  
         "ConnectionProperties": {  
             "SparkProperties": "{\"sfUrl\":\"https://account.snowflakecomputing.com\",\"secretId\":\"mySecret\"}"  
         },  
         "CreationTime": 1708694242.804,  
         "LastUpdatedTime": 1708694242.804,  
         "LastUpdatedBy": "..."  
     }  
 }

HTTP-Antwortcode 403

Erhältst du einen Fehler des Typs „HTTP Response code: 403, request: POST“, dann stelle sicher, dass die URL, der Benutzername und das Passwort deiner Snowflake-Verbindung korrekt sind. Überprüfe anschließend, ob du dein Netzwerk richtig konfiguriert hast. Weitere Informationen zu Snowflake-Rollenberechtigungen findest du auf der Website von Snowflake unter Hinweise zur Zugriffssteuerung.

JDBC-Kommunikationsfehler: Verbindungs-Timeout

Wenn du die Fehlermeldung „JDBC driver encountered communication error“ erhältst, überprüfe, ob deine Verbindungseinrichtung ein privates Subnetz verwendet. Jetzt kannst du ein NAT-Gateway im Subnetz deiner AWS Glue-Verbindung konfigurieren, das den Datenverkehr an Snowflake weiterleitet.

Verbindungs-Timeout beim Snowflake-Marketplace-Connector

Erhältst du folgende Fehlermeldung, dann richte im Subnetz deiner AWS Glue-Verbindung ein NAT-Gateway ein:

„Connect timeout on endpoint URL“

Das NAT-Gateway muss den Zugriff auf dein Amazon-ECR-Repository (Amazon Elastic Container Registry) erlauben.

Fehlende OCSP-Zertifikatsperrung

Wenn du die Fehlermeldung „Driver is connecting to an HTTPS endpoint without OCSP based Certificate Revocation“ erhältst, deaktiviere die OSCP-Überprüfung (Online Certificate Status Protocol). Weitere Informationen findest du auf der Website von Snowflake unter OSCP-Überprüfung in Snowflake-Client-Treibern deaktivieren.

Probleme bei Teradata-Vantage-Verbindungen

Wende die Lösung für den Fehler an, den du erhalten hast.

Anmelde-Timeout für die Verbindung

Erhältst du die Fehlermeldung „Login timeout for connection“, solltest du prüfen, ob deine Netzwerkeinrichtung AWS Glue den Zugriff auf den Teradata-Vantage-Host erlaubt.

Keine SSO-Unterstützung für Mechanism TD2

Erhältst du die Fehlermeldung „Single sign-on not supported for Mechanism TD2“, solltest du prüfen, ob du deine Netzwerkeinrichtung richtig konfiguriert hast. Stelle dann sicher, dass die Verbindungszeichenfolge den richtigen Benutzernamen und das richtige Passwort enthält. Verwende keine Single-Sign-On-Anmeldeinformationen.

Probleme bei Vertica-Verbindungen

Stelle sicher, dass deine Netzwerkeinrichtung AWS Glue den Zugriff auf den Vertica-Host erlaubt.