如何设置/访问 AWS Glue Job 和 Notebook的 Spark UI

0

【以下的问题经过翻译处理】 在Glue作业中,勾选复选框可以启用Spark UI,并指定一个S3路径作为日志存储的位置。那该如何访问Spark UI的URL?

profile picture
专家
已提问 5 个月前59 查看次数
1 回答
0

【以下的回答经过翻译处理】 要想查看这些日志,您需要部署自己的历史服务器,可以使用CloudFormation模板、docker容器(也可以从Spark发行版本中本地运行历史服务器,但添加s3支持需要一些工作)。 请参考以下步骤: https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则