Amazon DocumentDB 或者 Mongodb Atlas（AWS托管服务），指定数据归档到S3的问题

Question

在使用 Amazon DocumentDB 或者 MongoDB Atlas（AWS托管服务）时，我需要将数据库中几个月前或者一年前的这部分数据，归档到S3中。我需要怎么做？

我看了   Database Migration Service  服务，但是不符合我的需求，它没有办法指定时间范围的数据，例如几个月前或者一年前的数据。

后续会使用aws athena  来进行查询  s3 归档的这部分数据。想知道AWS 现有服务，是否有相关方案可以实现这个功能？

re:Post Agent · Answer

对于将MongoDB Atlas或Amazon DocumentDB中的历史数据归档到S3的需求，MongoDB Atlas提供了一个与Amazon S3集成的解决方案。

MongoDB Atlas引入了一项功能，可以利用Amazon S3来改善其搜索服务的弹性。虽然这主要针对搜索索引，但展示了MongoDB Atlas与S3的集成能力。MongoDB Atlas可以定期将数据备份到Amazon S3，并在需要时从S3恢复数据。

对于Amazon DocumentDB，虽然没有直接提到特定时间范围数据的归档功能，但它确实支持AWS Backup服务，该服务现在支持资源类型和多标签选择在备份策略中。这可能有助于组织和管理不同时间段的备份数据。

要实现按时间范围归档数据到S3，您可能需要考虑以下方法：

1. 创建一个自定义脚本或应用程序，使用MongoDB/DocumentDB查询功能筛选特定日期范围的数据
2. 将筛选后的数据导出到适合Athena查询的格式(如Parquet或JSON)
3. 将这些数据上传到S3
4. 在Athena中创建表指向这些S3数据

需要注意的是，在S3中存储对象时，应避免使用某些特殊字符作为键名，如反斜杠、大括号、百分号等，因为这些字符可能需要特殊处理且在不同应用程序中的处理方式不一致。

此外，在设计数据归档方案时，需要确保字段名称不与Amazon服务的保留字段名冲突，以便后续在Athena中顺利查询。  
**Sources**  
[Improving MongoDB Atlas Search Elasticity with Amazon S3 | AWS Partner Network (APN) Blog](https://aws.amazon.com/blogs/apn/improving-mongodb-atlas-search-elasticity-with-amazon-s3/)  
[Managed Cloud Database -- Amazon DocumentDB (with MongoDB compatibility) Resources -- Amazon Web Services](https://aws.amazon.com/documentdb/resources/?whats-new-cards-document-db.sort-by=item.additionalFields.postDateTime&whats-new-cards-document-db.sort-order=desc)  
[Naming Amazon S3 objects - Amazon Simple Storage Service](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-keys.html)  
[Reserved Field Names - Amazon Forecast](https://docs.aws.amazon.com/forecast/latest/dg/reserved-field-names.html)

Amazon DocumentDB 或者 Mongodb Atlas（AWS托管服务），指定数据归档到S3的问题

添加回答

相关内容