如何对 AWS Glue 流式传输作业进行故障排除？

解决方法

使用 Amazon CloudWatch 监控 AWS Glue 流式传输作业指标。然后，检查失败的流式传输作业日志中是否存在错误消息、警告或时间戳。有关详细信息，请参阅收集 AWS Glue 故障诊断信息。

验证作业的数据来源和接收器是否可访问并正确配置。有关详细信息，请参阅 Apache Spark 网站上的 Input sources 和 Output sinks。

使用 AWS Glue 架构注册表来发现、控制和改进数据流架构。验证输入数据架构是否与流式传输作业中的预期架构相匹配。

在部署流式传输作业之前，请使用 AWS Glue Docker 映像或 AWS Glue ETL 库在本地开发和测试该作业。

相关信息

如何优化 AWS Glue 流式传输作业？

AWS Glue 故障排除

Kinesis 连接

Kafka 连接

使用 Docker 映像进行开发