VisualETLを使用できるGlueジョブをCloudFormationテンプレートから作成する

CloudFormationテンプレートを使用してVisual ETLで編集可能なAWS Glueジョブを作成するには、以下の点に注意する必要があります：

1. ジョブタイプ： CloudFormationテンプレート内で、ジョブタイプを 'glue_etl' に設定します。これはVisual ETLと互換性のあるジョブタイプです。

2. コマンド： ジョブのコマンドセクションで、Pythonスクリプト名を指定する代わりに、'glue-etl' を使用します。これにより、ジョブがVisual ETLモードで実行されることを示します。

3. デフォルトの引数： ジョブの DefaultArguments セクションに、'--enable-glue-datacatalog': 'true' を含めます。これにより、Glue Data Catalogが有効になり、Visual ETLで必要なメタデータにアクセスできるようになります。

4. ワーカータイプ： ワーカータイプを 'G.1X' または 'G.2X' に設定します。これらは、Visual ETLと互換性のあるGPU対応のワーカータイプです。

5. Glueバージョン： Glueバージョンを '2.0' 以上に設定します。Visual ETLは、Glue 2.0以降でサポートされています。

6. 最大容量： ジョブの実行に必要な十分なリソースを確保するために、適切な最大容量を設定します。

これらの設定を含むCloudFormationテンプレートを使用してGlueジョブをデプロイすることで、Visual ETLで編集可能な形式でジョブを作成できます。ただし、具体的なスクリプト内容やデータ変換ロジックは、Visual ETL内で直接編集する必要があります。

CI/CDパイプラインでは、これらの設定を含むCloudFormationテンプレートをGitリポジトリで管理し、変更があった場合にAWS CloudFormationスタックを更新するようにセットアップできます。これにより、インフラストラクチャとしてのコード（IaC）のアプローチを維持しながら、Visual ETLの利点も活用できます。
Sources
AWS CloudFormation for AWS Glue - AWS Glue