在AWS上的实时应用洞察架构

Question

【以下的问题经过翻译处理】 有几个桌面应用程序，包括Windows/Mac/Nix等平台，这些应用程序生成JSON事件，通过POST方式发布这些事件。目前这是一个单向的交易，应用程序向流输出数据仅用于分析。我们现在想要分析这些事件，以确定是否存在可操作的“数据序列”开始出现。

在以下目的下，将这些记录（250-500字节，每秒最高1,000）流式传输到AWS的最有效（第1-性能，第2-成本，第3-可靠性）的方式是什么？

1.转换记录数据为已知模型（例如，标准日期格式、简单的XForms）
2.分析标准化记录（ML-预测分析或迭代学习）
3.持久化记录
4.基于分析，向原始调用应用程序发送有效负载（或指向CDN存储有效载荷的指针）？

简而言之，在本地执行一种类型的实时应用程序性能分析，使用一个本地服务向AWS原生云服务喷出JSON，以便它们进行所有的工作，并在最短时间内返回信息。

Answer

【以下的回答经过翻译处理】 有多个选项和模式，其中一个可能是使用以下组件构建架构：

1. Amazon Kinesis Stream：将数据流到Kinesis，并且也可以使用API Gateway捕获POST事件。
2. Amazon Kinesis Firehose + Lambda：对数据进行转换，并在S3中提供，转换后的Lambda也可以调用Sagemaker推理。
3. 如果需要进行更复杂的分析转换，则可以考虑在Kineses Data Analytics上使用Flink。
4. Amazon S3用于存储经过转换的数据，还可以存储有效载荷并将CDN指向它。
5. Lambda用于发送有效载荷，也可以使用API Gateway发布API。

这些模式的两个示例可在此[监控流数据与机器学习的参考架构](https://d1.awsstatic.com/architecture-diagrams/ArchitectureDiagrams/monitoring-streaming-data-with-mlv3-ra.pdf)和[使用AWS Kinesis、SageMaker和Apache Flink进行实时流内推理的博客文章](https://aws.amazon.com/blogs/architecture/realtime-in-stream-inference-kinesis-sagemaker-flink/)中看到。

在AWS上的实时应用洞察架构

Relevanter Inhalt