All Content tagged with AWS Step Functions
AWS Step Functions is a low-code, visual workflow service that developers use to build distributed applications, automate IT and business processes, and build data and machine learning pipelines using AWS services.
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
64 条结果
【以下的问题经过翻译处理】 将 Step Functions 与 EKS 或 ECS 等容器服务结合使用时，这些步骤的输出如何工作？从下面两个链接的问题来看，似乎输入是通过将输入传递给命令覆盖或将其作为环境变量传递来完成的。这些作业如何返回输出以供后续步骤使用？
输入问题：
*...
【以下的问题经过翻译处理】 运行AWS Step Functions访问一个AWS HttpApi调用lambda函数，以使用一个大小约为3GB的docker容器。但20%的时间会出现#503错误，其余时间结果符合预期。我不认为这是容器的预热问题。API和lambda的日志（非容器和容器）都没有显示任何问题。我已经将AWS Step...
【以下的问题经过翻译处理】 ```
{
"Comment": "A description of my state machine",
"StartAt": "Batch SubmitJob",
"States": {
"Batch SubmitJob": {
"Type": "Task",
"Resource":...
【以下的问题经过翻译处理】 我们可以使用 Step Function 来编排Sqoop作业吗？目标是创建一个暂时的集群，先使用Sqoop加载数据，然后在Hive中进行转换，但看起来[Command...
【以下的问题经过翻译处理】 在使用一种步骤函数来执行一个Glue作业。步骤函数被设置为同步模式运行，然而通常会有一个2-4分钟的延迟，从Glue作业完成到步骤函数认为Glue作业已经完成并转到下一步。举例来说，Glue作业的最后一次运行花费了15分钟，但是步骤函数在这个步骤上花费了19分钟的时间。是否还有其他人遇到过这样的问题？我唯一的选择是在异步模式下执行，并更频繁地轮询完成吗？
【以下的问题经过翻译处理】 相同的代码在一个账户中能正常工作，但在另一个账户中不能工作。
在一个step function中，lambda调用Redshift查询，返回结果后下一步调用get status。
lambda可以返回，但status call出错，错误消息为“Query does not exist”。
上一步中的查询已成功运行，并返回了Statement ID。
只有status...
【以下的问题经过翻译处理】 我正在开发一个步骤函数状态机，并且可以使用Python和Node创建Lambda函数来更新DynamoDB中的现有项目。但是，我似乎找不到任何使用服务集成和动态变量的示例。我遇到的唯一示例都是插入/更新静态变量。在我的情况下，我正在从上游的Python Lambda函数中传入数据（我不是很有经验）。似乎很简单，但我认为我的问题在于Json vs. DynamoDB...
【以下的问题经过翻译处理】 我正在使用Step Functions创建暂时的Amazon EMR集群。对于任务节点，我使用Spot实例，并为超时设置了终止群集的规则。我能在Step Function脚本中使用多个Spot规则来创建不同规格的集群吗（例如：i3.8xlarge和i4.8xlarge）？通过Amazon...
【以下的问题经过翻译处理】 选择以下一项的要点是什么：：
* 数据管道，
*Step function
* 用于 Apache Airflow 的亚马逊托管工作流
【以下的问题经过翻译处理】 我在一个Step Function中使用了Redshift Data API:ExecuteStatement(https://docs.aws.amazon.com/redshift-data/latest/APIReference/API_ExecuteStatement.html)。分别有两个Step Function states/tasks...
【以下的问题经过翻译处理】 大家好，
我有一个Step Function用于调用AWS Glue作业，步骤定义如下：
```
"glue-redshift-call": {
"Type": "Task",
"Resource": "arn:aws:states:::glue:startJobRun.sync",
"Parameters": {
...
【以下的问题经过翻译处理】 IHAC正在为他们的数据湖进行底层设计。他们希望尽可能都使用AWS原生服务。他们对AWS上的ETL编排最佳实践有疑问。他们正在查看Step函数，但自2019年6月以来，Glue Workflow已经可用，他们想知道该使用哪种或组合使用。当然，他们正在寻找简单的方式。以下是他们的主要要求：
1. ETL编排-Step函数 vs. Glue Workflow
1....