AWS Builder Center is the official home for builders on AWS. Share and read what others are working on, follow people who inspire you, explore training and workshops, and find tools to support what you're building.
All Content tagged with 亚马逊云科技数据管道
AWS Data Pipeline is a web service that helps you reliably process and move data between different AWS compute and storage services, as well as on-premises data sources, at specified intervals.
内容语言: 中文 (简体)
筛选内容
选择要筛选的标签
排序方式
排序方式 最新
17 条结果
【以下的问题经过翻译处理】 数据湖 - 数据采集方法
【以下的问题经过翻译处理】 客户使用什么AWS ETL工具来设置数据不断地加载到Redshift，同时提供类似于Microsoft SSIS的转换功能会更好？例如，“从这个文件每天完全替换地加载这个表的数据，计算这些列等等”。
【以下的问题经过翻译处理】 有一个数据管道，从S3存储桶中读取CSV文件并将数据复制到RDS数据库中。
我指定桶/文件夹名称，并处理其中的每个CSV文件。完成后，ShellCommandActivity将文件移动到S3存储桶中的另一个“文件夹”中。这是测试时的工作原理。使用真实数据时，它在处理几个文件后就停止了。
日志中的最后一行是
`07 Dec 2021 09:57:55,755 [IN...
【以下的问题经过翻译处理】 在AWS EMR控制台上，我们看到AWS EMR 6.5.0版本已经可用。
然而，EMR文档没有关于6.5.0的具体信息。
基于EMR的发布，文档将何时更新？
【以下的问题经过翻译处理】 我正在使用AWS Glue Job studio中的SQL Query Transform在我的表中新增一列。
SQL别名 - study
当前表中字段 - study id, patient id, patient age
我想通过...
【以下的问题经过翻译处理】 我正在开发一个步骤函数状态机，并且可以使用Python和Node创建Lambda函数来更新DynamoDB中的现有项目。但是，我似乎找不到任何使用服务集成和动态变量的示例。我遇到的唯一示例都是插入/更新静态变量。在我的情况下，我正在从上游的Python Lambda函数中传入数据（我不是很有经验）。似乎很简单，但我认为我的问题在于Json vs. DynamoDB Js...
【以下的问题经过翻译处理】 我正在使用Data Pipeline将来自RDS的数据复制到Redshift，对于每个表，都有一个单独的Pipeline进行复制。
是否可能将这些Pipelines合并为一个单独的Pipeline，用于多个表？如果可以，是否有一个示例JSON配置，可以实现这一点？
【以下的问题经过翻译处理】 DMS如何进行更复杂的映射，而不仅仅是从源到目标的简单1-1映射？
例如，如果您需要检查跨多个表的数据以进行某些业务逻辑，并基于这些结果，将某个字符串映射到目标。
【以下的问题经过翻译处理】 一个客户有关于数据来源的问题：“我们大部分的数据存储在SQL数据库中，而SageMaker文档说我必须把所有数据都放到S3中。最好的方法并不明显。例如，我可以考虑将分析代码拆分为两部分；一部分用于预处理，从SQL查询转换为表格数据，然后将其存储为Parquet文件。对于高维张量数据甚至更不明显。”有人可以对此发表评论吗？
【以下的问题经过翻译处理】 一位客户拥有一个MySQL数据库，希望将历史数据转移到另一个平台进行报告和分析。目前，他们在正常操作期间面临性能问题。
我需要考虑什么来做决定？我看到一个可能的方法是使用DMS <https://aws.amazon.com/blogs/database/archiving-data-from-relational-databases-to-amazon-glacier...
【以下的问题经过翻译处理】 \*\*将数据从 RDS MySQL 传输到 S3 存储桶
\*\*
我设置了一个AWS Data Pipeline以将数据从 RDS Mysql 传输到 S3 Bucket，在此之前我使用用户名和密码设置了 RDS mysql 数据库。 （启用 IAM 身份验证）
似乎由数据管道创建的 EC2 无法访问数据库。
错误消息：（用户 'admin'@'172.31...
【以下的问题经过翻译处理】 选择以下一项的要点是什么：：
* 数据管道，
*Step function
* 用于 Apache Airflow 的亚马逊托管工作流