如何使用Kinesis Data Stream或Delivery Stream 进行数据流缓冲？

Question

【以下的问题经过翻译处理】 嗨，我正在实施的当前流水线涉及Kinesis Data Stream -> Kinesis Firehose -> S3，但是当将缓冲区间隔（S3和转换）设置为接近5分钟时，数据仍会快速出现在S3存储桶中。

为了我的目的，我需要将每5分钟的数据合并成一个大文件，推送到S3中，我认为Kinesis Firehose应该在从Kinesis Data Stream 中获取时再后台处理。

我很感激任何帮助

rePost Polyglot · Answer

【以下的回答经过翻译处理】 已解决问题，通过直接将文件放入Kinesis Firehose中，可以正常按照时间聚合文件。

然而，我没有发现Kinesis Data Stream -> Kinesis Firehose的转换没有正确聚合数据的原因，尽管我怀疑这可能与数据流碎片有关。

相关内容