Stay up to date with the latest from the Knowledge Center. See all new and updated Knowledge Center articles published in the last month and re:Post’s top contributors.
标记有以下标签的问题： Amazon Data Firehose
Amazon Data Firehose provides the easiest way to acquire, transform, and deliver data streams within seconds to data lakes, data warehouses, and analytics services.
内容语言: 中文 (简体)
选择要筛选的标签
排序方式 最新
浏览下面列出的问题和回答，或者筛选和排序以缩小结果范围。
14 条结果
【以下的问题经过翻译处理】 大家好，
我们正在基于**CloudWatch Logs Destinations** 和 **Kinesis Firehose** 的解决方案上进行开发，以便能够将**多个应用程序账户**的**CloudWatch Logs**集中到我们**组织**中的**集中日志账户**中，如下图所示，并在此处描述 [here](https://dev.to/aws-builde...
【以下的问题经过翻译处理】 嗨，我正在实施的当前流水线涉及Kinesis Data Stream -> Kinesis Firehose -> S3，但是当将缓冲区间隔（S3和转换）设置为接近5分钟时，数据仍会快速出现在S3存储桶中。
为了我的目的，我需要将每5分钟的数据合并成一个大文件，推送到S3中，我认为Kinesis Firehose应该在从Kinesis Data Stream 中获取时...
【以下的问题经过翻译处理】 目前我正在使用AWS Kinesis Firehose Delivery Stream将Cloudwatch日志流式传输到S3中，并附加时间戳前缀，如下所示
/year=!{timestamp:YYYY}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/
然而，发现在2021年12月25日...
【以下的问题经过翻译处理】 客户倾向将IoT摄取的数据接收到Kinesis Data Stream（之后简称KDS）。他们比起Kinesis Firehose（KF，之后简称KF），更喜欢KDS，因为KDS可以支持Lambda，但KF只支持S3和非计算消费者。他们想要摄取KDS，以便可以显示接近实时的分析仪表板。
但是KDS的一点不便之处在于我们需要预测分片的数量。IoT应用是家用电器，因此会有...
【以下的问题经过翻译处理】 是否可以创建多个Kinesis数据分析应用程序 （Kinesis Data Analytics apps）并使用相同的数据源，即Kinesis Firehose数据传送流？当多个Analytics应用程序从Firehose流中获取数据时，是否存在流量限制的问题？
【以下的问题经过翻译处理】 一个连接到Kinesis Firehose的Lambda数据转换函数能否通过Athena在S3中的数据与Kinesis Firehose中的流式数据进行连结，并将结果传递给Kinesis Analytics进行进一步处理？这个功能是否被支持？
【以下的问题经过翻译处理】 配置: DynamoDB流（删除事件-TTL 90分钟）=> lambda =>Event Bridge=> Kinesis Firehose（直接PUT的传输流=> S3存储桶（firehose目的地）=> SQS（基于对象创建触发）=> lambda X
我们发现lambda函数X被调用的延迟为1-3天，有些情况下我们甚至没有看到它被调用。没有错误，没有在kine...
【以下的问题经过翻译处理】 IHAC试图将一个7.5GB和7M行，每行0.4KB的DynamoDB表加载到内存中，发现需要约十分钟时间。
假设分区键不是问题，加速该过程的好方法是什么？我想到了以下几种方法：
1. 并行加载而不是顺序加载
2. 批量加载小项（例如通过Firehose等）并进行批量加载
期待听到您的想法！
【以下的问题经过翻译处理】 一个顾客使用Kinesis Firehose，并对账单有疑问。
我查看了他们从CloudWatch得到的统计数据，将deliveryToS3.Bytes除以deliveryToS3.Record，发现每条记录的平均大小是0.5KB。由于我知道针对计费，我们将记录的大小向上取整到5KB，这意味着他们的使用费用几乎是10倍。
我觉得唯一优化成本的方法是重新设计应用程序，...
【以下的问题经过翻译处理】 我需要一个分析工具，用于分析产品在网站上发布广告时发送的日志或数据。该产品每分钟发送约10万个事件或更多。所有数据都对分析很重要，因此，我不能承受数据丢失的风险。
考虑到性能效率、数据一致性和成本优化等因素，最佳的将这些数据发送到Amazon Redshift的方式是什么？
【以下的问题经过翻译处理】 一位客户正在考虑增加 Kinesis Stream 的消费者。
目前，他们有一个每分钟轮询一次的消费者脚本，他们还想增加Firehose做为消费者。
他们应该注意哪些约束和限制，以及如何计算支持增加的消费者数量所需的最佳分片数量？
这种这种方法是否正确？
【以下的问题经过翻译处理】 根据AWS博客文章[Dynamic Partitioning]（https://aws.amazon.com/blogs/big-data/kinesis-data-firehose-now-supports-dynamic-partitioning-to-amazon-s3/），我已经配置了一个firehose传输流，将API调用转换为Parquet输出到S3，现在根...