如何将历史数据卸载到Redshift或S3？

Question

【以下的问题经过翻译处理】 一位客户拥有一个MySQL数据库，希望将历史数据转移到另一个平台进行报告和分析。目前，他们在正常操作期间面临性能问题。
我需要考虑什么来做决定？我看到一个可能的方法是使用DMS 。我想知道数据管道是否也可以在这里使用。目标将根据数据而定，可能是S3或Redshift。谢谢！

rePost Polyglot · Answer

【以下的回答经过翻译处理】 DMS 和 Kinesis data firehose 可以将数据更改从 MySQL 流式传输到 Redshift 和 S3。这是在源表中具有主键的事务源的常见模式。这是一个博客，描述了如何使用 Glue 和 DMS 从源加载正在进行的更改  。

对于加载到 S3 和 Redshift 中的历史数据，考虑到客户对 AWS 拥有大量网络带宽，使用 DMS 处理少量到中等数量的数据。对于 10 TB 的大数据，将 MySQL 数据导出到原始文件并移动到 AWS Snowball 并导入到 S3 可能更合理且更省时。

如果客户希望获得从 MySQL 到 Redshift 和 S3 的采购能力的无缝 ETL 体验，他们可以使用像 Snaplogic 这样的第三方产品。这是一个博客

如何将历史数据卸载到Redshift或S3？

相关内容