如何使用Kinesis Data Stream或Delivery Stream 进行数据流缓冲？
0
【以下的问题经过翻译处理】 嗨，我正在实施的当前流水线涉及Kinesis Data Stream -> Kinesis Firehose -> S3，但是当将缓冲区间隔（S3和转换）设置为接近5分钟时，数据仍会快速出现在S3存储桶中。
为了我的目的，我需要将每5分钟的数据合并成一个大文件，推送到S3中，我认为Kinesis Firehose应该在从Kinesis Data Stream 中获取时再后台处理。
我很感激任何帮助
- 语言
- 中文 (简体)
1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 已解决问题，通过直接将文件放入Kinesis Firehose中，可以正常按照时间聚合文件。
然而，我没有发现Kinesis Data Stream -> Kinesis Firehose的转换没有正确聚合数据的原因，尽管我怀疑这可能与数据流碎片有关。
