All Content tagged with データの抽出、変換、ロード

Athena上でテーブル作成しAthena上ではクエリ実行できているのですが、clean roomsで該当のテーブルのクエリを回したところ、下記のエラーメッセージがでてしまう状況ですが、エラーがでないよう実行するにはどのようにすればいいでしょうか？ Invalid Glue table type 'null' for table: なお、AWS Clean Roomsのテーブル設定にあたっては、...

AWS Glue Visual ETLを使用して、OracleSQLから、parquet形式でS3にテーブルデータを差分出力したいです。 VisualETLで、データソースをOracleSQL、データターゲットをS3に設定し、parquet形式で出力を行いました。 再度ETLを実行すると、同じテーブルデータに対し、ファイル名の異なるparquetファイルが出力されてしまいます。 (parquet...

Glueのwrite_dynamic_frame.from_optionsでpartitionを分けると出力されたデータからpartitionに使用した項目が除外されます。これを残す方法はありますでしょうか？ visual editor でなくcustom transformでコードを記載する必要がありますか？

一昨日に作業でSQLを実行した際には正常にredshiftにて日本語の文字列が表示されていたが、本日同様のSQLを実行した所日本語部分が「？」で表示される文字化けが発生。 全てのテーブルにて文字化けが確認された。 データの元となるS3に格納しているCSVデータも文字化けしていない事が確認できている。 CSVから再度取り込んでも化けてしまう。 文字コードはUTF-8であり問題ない認識です。 同様の現...

AWS Glueを使用してOpenSearchとのデータ同期処理を実装しています。 公式が公開しているチュートリアルを参考にし、マネコン上でOpenSearch用のGlue Connectionを作成することができたのですが、これをTerraformで管理する方法がわからずにいます。 https://docs.aws.amazon.com/glue/latest/dg/tutorial-elas...