Amazon MSK 常见问题解答

0

【以下的问题经过翻译处理】 一个客户有以下关于MSK服务的问题

  1. 如何管理主题及其设置的最佳方式是什么?(命令行工具/UI)
  2. 我们能否调整现有topic的设置?能否更改replication factor 或partitions数?
  3. 如何确定topic的分区数?这取决于我们有多少个broker吗?
  4. 如果我们增加broker的数量会发生什么?是否可能在不重建群集的情况下实现?
  5. 我们用来自我们设备的时间戳填写kafka消息中的时间戳字段。如果这些时间戳无法按时间排序(我们可以得到过去的时间戳),这是否可以?
  6. 对于编码/解码消息,使用protobuf是否是一个好选择?
  7. 对segmentio/kafka-go golang客户端有何看法?客户端的选择有最佳实践吗?
  8. 在使用consumer groups时,我们是否可以自行管理提交?
  9. 是否有办法向broker实例添加更多的磁盘?
profile picture
专家
已提问 6 个月前44 查看次数
1 回答
0

【以下的回答经过翻译处理】 以下是我的回答:

  1. 管理topic和其设置的好方法是什么?(命令行工具/UI) 您可以使用CMAK来管理topic。您还可以使用Cruise Control进行动态重新平衡。

  2. 我们可以调整现有topic的设置吗?能否更改replication factor 或partitions数? 是的,您可以使用Kafka APIs来进行捕获期限等操作,并添加分区。但是,在topic创建后更改replication factor并不是一个简单的过程。通常会在分区级别上进行操作。如果需要更多细节,请告诉我。CMAK也可用于向主题添加分区。

  3. 如何确定topic的分区数?这取决于我们有多少个broker? 这是一个庞大的主题。通常您通过分区来扩展Kafka的吞吐量。从生产者方面来看,每个分区可以接收每秒钟10MB/s的数据,因此分区数量将取决于topic的摄入速率和每个分区的限制。例如,如果我们假设每个分区可以支持2MB/s,topic摄入速率为50MB/s,则根据所提及的假设,此示例topic需要25个分区。在消费者方面,每个分区将分配给消费者组中的一个且仅一个消费者。但是,每个消费者可以有多个分区。因此,在消费者方面,分区的数量受最大消费者组中使用的消费者数量的限制。

profile picture
专家
已回答 6 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则