在AWS上的实时应用洞察架构

0

【以下的问题经过翻译处理】 有几个桌面应用程序,包括Windows/Mac/Nix等平台,这些应用程序生成JSON事件,通过POST方式发布这些事件。目前这是一个单向的交易,应用程序向流输出数据仅用于分析。我们现在想要分析这些事件,以确定是否存在可操作的“数据序列”开始出现。

在以下目的下,将这些记录(250-500字节,每秒最高1,000)流式传输到AWS的最有效(第1-性能,第2-成本,第3-可靠性)的方式是什么?

1.转换记录数据为已知模型(例如,标准日期格式、简单的XForms) 2.分析标准化记录(ML-预测分析或迭代学习) 3.持久化记录 4.基于分析,向原始调用应用程序发送有效负载(或指向CDN存储有效载荷的指针)?

简而言之,在本地执行一种类型的实时应用程序性能分析,使用一个本地服务向AWS原生云服务喷出JSON,以便它们进行所有的工作,并在最短时间内返回信息。

profile picture
专家
已提问 5 个月前23 查看次数
1 回答
0

【以下的回答经过翻译处理】 有多个选项和模式,其中一个可能是使用以下组件构建架构:

  1. Amazon Kinesis Stream:将数据流到Kinesis,并且也可以使用API Gateway捕获POST事件。
  2. Amazon Kinesis Firehose + Lambda:对数据进行转换,并在S3中提供,转换后的Lambda也可以调用Sagemaker推理。
  3. 如果需要进行更复杂的分析转换,则可以考虑在Kineses Data Analytics上使用Flink。
  4. Amazon S3用于存储经过转换的数据,还可以存储有效载荷并将CDN指向它。
  5. Lambda用于发送有效载荷,也可以使用API Gateway发布API。

这些模式的两个示例可在此监控流数据与机器学习的参考架构使用AWS Kinesis、SageMaker和Apache Flink进行实时流内推理的博客文章中看到。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则