标记有以下标签的问题： AWS 数据管道
AWS Data Pipeline is a web service that helps you reliably process and move data between different AWS compute and storage services, as well as on-premises data sources, at specified intervals.
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答，或者筛选和排序以缩小结果范围。
14 条结果
【以下的问题经过翻译处理】 数据湖 - 数据采集方法
【以下的问题经过翻译处理】 客户使用什么AWS ETL工具来设置数据不断地加载到Redshift，同时提供类似于Microsoft SSIS的转换功能会更好？例如，“从这个文件每天完全替换地加载这个表的数据，计算这些列等等”。
【以下的问题经过翻译处理】 有一个数据管道，从S3存储桶中读取CSV文件并将数据复制到RDS数据库中。
我指定桶/文件夹名称，并处理其中的每个CSV文件。完成后，ShellCommandActivity将文件移动到S3存储桶中的另一个“文件夹”中。这是测试时的工作原理。使用真实数据时，它在处理几个文件后就停止了。
日志中的最后一行是
`07 Dec 2021 09:57:55,755...
【以下的问题经过翻译处理】 在AWS EMR控制台上，我们看到AWS EMR 6.5.0版本已经可用。
然而，EMR文档没有关于6.5.0的具体信息。
基于EMR的发布，文档将何时更新？
【以下的问题经过翻译处理】 我正在使用AWS Glue Job studio中的SQL Query Transform在我的表中新增一列。
SQL别名 - study
当前表中字段 - study id, patient id, patient...
【以下的问题经过翻译处理】 我正在开发一个步骤函数状态机，并且可以使用Python和Node创建Lambda函数来更新DynamoDB中的现有项目。但是，我似乎找不到任何使用服务集成和动态变量的示例。我遇到的唯一示例都是插入/更新静态变量。在我的情况下，我正在从上游的Python Lambda函数中传入数据（我不是很有经验）。似乎很简单，但我认为我的问题在于Json vs. DynamoDB...
【以下的问题经过翻译处理】 我正在使用Data Pipeline将来自RDS的数据复制到Redshift，对于每个表，都有一个单独的Pipeline进行复制。
是否可能将这些Pipelines合并为一个单独的Pipeline，用于多个表？如果可以，是否有一个示例JSON配置，可以实现这一点？
【以下的问题经过翻译处理】 DMS如何进行更复杂的映射，而不仅仅是从源到目标的简单1-1映射？
例如，如果您需要检查跨多个表的数据以进行某些业务逻辑，并基于这些结果，将某个字符串映射到目标。
【以下的问题经过翻译处理】 一个客户有关于数据来源的问题：“我们大部分的数据存储在SQL数据库中，而SageMaker文档说我必须把所有数据都放到S3中。最好的方法并不明显。例如，我可以考虑将分析代码拆分为两部分；一部分用于预处理，从SQL查询转换为表格数据，然后将其存储为Parquet文件。对于高维张量数据甚至更不明显。”有人可以对此发表评论吗？
【以下的问题经过翻译处理】 一位客户拥有一个MySQL数据库，希望将历史数据转移到另一个平台进行报告和分析。目前，他们在正常操作期间面临性能问题。
我需要考虑什么来做决定？我看到一个可能的方法是使用DMS...
【以下的问题经过翻译处理】 \*\*将数据从 RDS MySQL 传输到 S3 存储桶
\*\*
我设置了一个AWS Data Pipeline以将数据从 RDS Mysql 传输到 S3 Bucket，在此之前我使用用户名和密码设置了 RDS mysql 数据库。 （启用 IAM 身份验证）
似乎由数据管道创建的 EC2 无法访问数据库。
错误消息：（用户...
【以下的问题经过翻译处理】 选择以下一项的要点是什么：：
* 数据管道，
*Step function
* 用于 Apache Airflow 的亚马逊托管工作流