如何对 AWS Glue 与外部数据来源的连接失败问题进行故障排除？

解决方法

首先，对测试连接失败进行故障排除。如果 AWS Glue 仍无法连接到您的数据来源，请针对您使用的连接器完成以下解决方法。

OpenSearch 连接问题

如果您收到“Cannot detect OpenSearch version”（无法检测 OpenSearch 版本）错误，请执行以下操作：

• 在云或广域网 (WAN) 环境的连接属性中，将 opensearch.nodes.wan.only 设置为 true。
• 如果您使用 Elasticsearch，请在您的集群中输入以下代码以激活兼容模式：

  PUT /_cluster/settings  
  {  
    "persistent": {  
      "compatibility.override_main_response_version": true  
    }  
  }

Kafka 连接问题

Kafka 仅接受 .jks 格式的密钥库。如果您收到“Failed to load SSL keystore”（无法加载 SSL 密钥库）错误，请验证您的密钥库是否为 .jks 格式。

MongoDB 连接问题

针对您收到的错误完成对应的解决方法。

MongoDB 身份验证失败

如果您收到“Exception authenticating MongoCredential”（对 MongoCredential 进行身份验证时出现异常）错误，请确认以下配置：

• 您的用户名和密码与应用程序使用的 MongoDB 凭证相匹配。
• 您的身份验证方法指定了正确的身份验证数据库。
• 您已在身份验证机制和身份验证源中正确设置了 MongoDB 连接 URL 的格式。

有关详细信息，请参阅 MongoDB 网站上的连接 Java Database Connectivity (JDBC) 驱动程序。

AWS Glue 4.0 中的 MongoDB 或 DocumentDB 连接错误

如果您在使用 AWS Glue 4.0 时收到以下错误，请验证您是否正确配置了 MongoDB 连接器的属性和 URL 格式：

“不支持 Mongo/DocumentDB 连接 URL。”

有关详细信息，请参阅 MongoDB 网站上的批量读取配置选项。

Snowflake 连接错误

首先，确认以下配置：

• 您的 AWS Glue 作业使用 Snowflake 连接。
• 您已按照 user、database、role_name 和 warehouse 的顺序配置了 Snowflake 连接的 URL 参数。
• 您的连接符合 AWS Glue 的 Snowflake 连接器限制。

然后，针对您收到的错误完成对应的解决方法。

使用 Boto3 创建的连接出现错误

如果您使用 Boto3 创建了 Snowflake 连接，请检查您是否正确配置了 SparkProperties 参数。

具有正确属性的示例配置：

{  
     "Connection": {  
         "Name": "Snowflake connection",  
         "Description": "",  
         "ConnectionType": "SNOWFLAKE",  
         "ConnectionProperties": {  
             "SparkProperties": "{\"sfUrl\":\"https://account.snowflakecomputing.com\",\"secretId\":\"mySecret\"}"  
         },  
         "CreationTime": 1708694242.804,  
         "LastUpdatedTime": 1708694242.804,  
         "LastUpdatedBy": "..."  
     }  
 }

HTTP 响应代码 403

如果您收到“HTTP Response code: 403, request: POST”（HTTP 响应代码：403，请求：POST）错误，请确保您的 Snowflake 连接的 URL、用户名和密码准确无误。然后，验证您是否正确配置了网络配置。有关 Snowflake 角色权限的详细信息，请参阅 Snowflake 网站上的 Access control considerations。

JDBC 通信错误：连接超时

如果您收到“JDBC driver encountered communication”（JDBC 驱动程序遇到通信问题）错误，请验证您的连接设置是否使用了私有子网。然后，在 AWS Glue 连接的子网中配置一个 NAT 网关，将流量路由到 Snowflake。

Snowflake Marketplace 连接器出现 ConnectTimeoutError

如果您收到以下错误，请在您的 AWS Glue 连接的子网中设置一个 NAT 网关：

“端点 URL 上的连接超时。”

NAT 网关必须允许访问您的 Amazon Elastic Container Registry (Amazon ECR) 存储库。

OCSP 证书吊销错误

如果您收到“Driver is connecting to an HTTPS endpoint without OCSP based Certificate Revocation”（驱动程序正在连接到没有基于 OCSP 的证书吊销的 HTTPS 端点）错误，请停用在线证书状态协议 (OSCP) 检查。有关详细信息，请参阅 Snowflake 网站上的 How To: Turn off OCSP checking in Snowflake client drivers。

Teradata Vantage 连接问题

针对您收到的错误完成对应的解决方法。

连接登录超时

如果您收到“Login timeout for connection”（连接登录超时）错误，请验证您的网络设置是否允许 AWS Glue 访问 Teradata Vantage 主机。

Mechanism TD2 不支持单点登录

如果您收到“Single sign-on not supported for Mechanism TD2”（Mechanism TD2 不支持单点登录）错误，请验证您是否正确配置了网络设置。然后，确保连接字符串包含正确的用户名和密码。不要使用单点登录凭证。

Vertica 连接问题

验证您的网络设置是否允许 AWS Glue 访问 Vertica 主机。