AWS Glue ストリーミングジョブのトラブルシューティング方法を教えてください。

所要時間1分

エラーが発生した AWS Glue ストリーミングジョブをトラブルシューティングしたいです。

解決策

Amazon CloudWatch を使用して AWS Glue ストリーミングジョブのメトリクスを監視します。次に、エラーが発生したストリーミングジョブに関するログでエラーメッセージ、警告、タイムスタンプについて確認します。詳細については、「AWS Glue のトラブルシューティング情報を収集する」を参照してください。

ジョブのデータソースとシンクがアクセス可能であり、正しく設定されていることを確認します。詳細については、Apache Spark のウェブサイトで「入力ソース」および「出力シンク」を参照してください。

AWS Glue Schema Registry を使用すると、データストリームスキーマを検出、制御したり、発展させることができます。入力データスキーマがストリーミングジョブで期待されるスキーマと一致することを確認します。

ストリーミングジョブをデプロイする前に、AWS Glue の Docker イメージまたは AWS Glue ETL ライブラリを使用してローカルで開発、テストを実施してください。