运行SQL脚本时,AWS Glue Notebook 遇到问题。

0

【以下的问题经过翻译处理】 我正在遵循以下链接中概述的步骤: https://aws.amazon.com/blogs/big-data/introducing-native-delta-lake-table-support-with-aws-glue-crawlers/

(1) 使用Amazon Athena查询Delta Lake表没有问题,可以查询出数据。

(2) AWS Glue Notebook有问题:

(a) 创建了名为“AWSGlueServiceRoleDefault”的IAM角色,其中包括

(i) AmazonS3FullAccess,这是AWS管理的

(ii) AWSGlueServiceRole,这是AWS管理的

(iii) PassRolePolicy,这是客户内联的

截图如下: image

PassRolePolicy 如下: image

按照链接中的说明,使用我上面创建的IAM角色("AWSGlueServiceRoleDefault"),Python代码的第一部分能够运行,如下所示:

截图如下: image

但是SQL部分却抛出了一系列Py4JJavaError:

截图如下: Py4JJavaError

即使是以下Python代码试图检索关于表的信息也会生成相同的错误:

截图如下: errors

以上错误是可复现的,可以在此处查看:https://justpaste.it/1zxzz

如果您可以帮我查看哪部分导致了错误以及如何纠正它,我将不胜感激。

profile picture
专家
已提问 1 年前47 查看次数
1 回答
0

【以下的回答经过翻译处理】 Delta格式的库默认情况下未启用。 作业需要一个参数:--datalake-formats = delta。

在Notebook 中,在运行任何其他单元之前,您需要将其作为配置传递(一旦会话启动,它将无效)。

%configure
{
   “--datalake-formats”:“delta”
}
profile picture
专家
已回答 1 年前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则