AWS Glue의 작업에 --enable-metrics와 같은 특수 파라미터를 사용하고 싶습니다. 작업을 실행할 때 AWS CloudFormation에서 템플릿 유효성 검사 또는 "null 값" 오류가 발생합니다.
해결 방법
AWS Glue 작업에 대한 특수 파라미터를 설정하려면 CloudFormation에 있는 AWS::Glue::Job 리소스의 DefaultArguments 속성에 대한 키-값 쌍을 제공해야 합니다. 작업 정의에만 키를 제공하는 경우 CloudFormation은 유효성 검사 오류를 반환합니다.
이 문제를 해결하려면 다음 단계를 완료하십시오.
- CloudFormation 템플릿에서 작업 정의의 DefaultArguments 속성에 대해 특수 파라미터 값을 빈 문자열로 설정합니다.
JSON 예시:
"MyJob": {
"Type": "AWS::Glue::Job",
"Properties": {
"Command": {
"Name": "glueetl",
"ScriptLocation": "s3://my-test//test-job1"
},
"DefaultArguments": {
"--job-bookmark-option": "job-bookmark-enable",
"--enable-metrics": ""
},
"ExecutionProperty": {
"MaxConcurrentRuns": 2
},
"MaxRetries": 0,
"Name": "cf-job3",
"Role": {
"Ref": "MyJobRole"
}
}
}
YAML 예시:
MyJob:
Type: 'AWS::Glue::Job'
Properties:
Command:
Name: glueetl
ScriptLocation: 's3://my-test//test-job1'
DefaultArguments:
'--job-bookmark-option': job-bookmark-enable
'--enable-metrics': ''
ExecutionProperty:
MaxConcurrentRuns: 2
MaxRetries: 0
Name: cf-job3
Role: !Ref MyJobRole
참고: 위의 JSON 및 YAML 템플릿 예시에서 --enable-metrics에는 빈 문자열 값이 있습니다. 빈 문자열을 사용하면 템플릿을 확인하고 특수 파라미터로 구성된 리소스를 시작합니다.
- 특수 파라미터를 활성화하려면 작업을 실행하십시오.