如何在AWS Serverless平台上运行Spark代码?

0

【以下的问题经过翻译处理】 AWS Serverless上运行Spark代码的最快方法是什么?最好通过notebook进行,能够运行DynamicFrames更好。

profile picture
EXPERTE
gefragt vor 5 Monaten42 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 最快的方式是在Spark中运行Glue ETL job中的工作负载。

您可以将SageMaker Notebooks连接到Glue Dev Endpoints,然后将代码提取出来并放入Glue ETL jobs中。

在Glue中,Glue ETL库(DynamicFrames等)将全部可用。

否则,客户还可以考虑在EKS上运行EMR并与EMR Studio连接。但是,这需要对管理EKS集群和在EKS中管理Fargate的知识。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen