使用Step Functions编排Sqoop

Question

【以下的问题经过翻译处理】 我们可以使用 Step Function 来编排Sqoop作业吗？目标是创建一个暂时的集群，先使用Sqoop加载数据，然后在Hive中进行转换，但看起来[Command Runner](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-commandrunner.html)没有这样的选项。

如果不行，有什么替代方案吗？

Answer

【以下的回答经过翻译处理】 您可以在脚本运行模式下运行任何脚本。

基本上，从 Step Function 调用 Script Runner需要的语法，例如：

```

"StartAt":"Step 1",
       "States":{ 
          "Step_1":{ 
             "Type":"Task",
             "Resource":"arn:aws:states:::elasticmapreduce:addStep.sync",
             "Parameters":{ 
                "ClusterId.$":"$.ClusterId",
                "Step":{ 
                   "Name":"1 - Step 1",
                   "ActionOnFailure":"CONTINUE",
                   "HadoopJarStep":{ 
                      "Jar":"s3://elasticmapreduce/libs/script-runner/script-runner.jar",
                      "Args":[ 
                         "s3://xxx/scripts/step1.sh"
                      ]
                   }
                }
             },
             "End":true
          }
       }
    }

```

将所有代码放入step1.sh脚本中，该脚本将在主节点上执行您想要执行的任何任务，包括Sqoop。

使用Step Functions编排Sqoop

관련 콘텐츠