如何在AWS Serverless平台上运行Spark代码?

0

【以下的问题经过翻译处理】 AWS Serverless上运行Spark代码的最快方法是什么?最好通过notebook进行,能够运行DynamicFrames更好。

profile picture
エキスパート
質問済み 5ヶ月前42ビュー
1回答
0

【以下的回答经过翻译处理】 最快的方式是在Spark中运行Glue ETL job中的工作负载。

您可以将SageMaker Notebooks连接到Glue Dev Endpoints,然后将代码提取出来并放入Glue ETL jobs中。

在Glue中,Glue ETL库(DynamicFrames等)将全部可用。

否则,客户还可以考虑在EKS上运行EMR并与EMR Studio连接。但是,这需要对管理EKS集群和在EKS中管理Fargate的知识。

profile picture
エキスパート
回答済み 5ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン