Como uso o CloudFormation para definir parâmetros especiais em um trabalho do AWS Glue?

2 minuto de leitura
0

Quero usar parâmetros especiais, como --enable-metrics, para meu trabalho no AWS Glue. Quando executo meu trabalho, recebo um erro de validação de modelo ou “valores nulos” do AWS CloudFormation.

Resolução

Para definir parâmetros especiais para seu trabalho do AWS Glue, você deve fornecer um par de chave-valor para a propriedade DefaultArguments do recurso AWS::Glue::Job no CloudFormation. Se você fornecer uma chave somente na definição do trabalho, o CloudFormation retornará um erro de validação.

Para solucionar esse problema, realize as etapas a seguir:

  1. Em seu modelo do CloudFormation, defina o valor do parâmetro especial como uma string vazia para a propriedade DefaultArguments da sua definição de trabalho.
    Exemplo de JSON:
    "MyJob": {
      "Type": "AWS::Glue::Job",
      "Properties": {
        "Command": {
          "Name": "glueetl",
          "ScriptLocation": "s3://my-test//test-job1"
        },
        "DefaultArguments": {
          "--job-bookmark-option": "job-bookmark-enable",
          "--enable-metrics": ""
        },
        "ExecutionProperty": {
          "MaxConcurrentRuns": 2
        },
        "MaxRetries": 0,
        "Name": "cf-job3",
        "Role": {
          "Ref": "MyJobRole"
        }
      }
    }
    Exemplo de YAML:
    MyJob:
      Type: 'AWS::Glue::Job'
      Properties:
        Command:
          Name: glueetl
          ScriptLocation: 's3://my-test//test-job1'
        DefaultArguments:
          '--job-bookmark-option': job-bookmark-enable
          '--enable-metrics': ''
        ExecutionProperty:
          MaxConcurrentRuns: 2
        MaxRetries: 0
        Name: cf-job3
        Role: !Ref MyJobRole
    Observação: Nos exemplos anteriores de modelos JSON e YAML,--enable-metrics tem um valor de string vazio. A string vazia valida o modelo e inicia o recurso configurado com o parâmetro especial.
  2. Para ativar o parâmetro especial, execute o trabalho.
AWS OFICIAL
AWS OFICIALAtualizada há 2 meses