Glue Studio Designer:使用pyspark函数

0

【以下的问题经过翻译处理】 我使用Glue Studio Designer canvas特性设计了一个Glue job,并在其中使用了自定义转换。然而,我在代码中无法利用像 'from pyspark.sql.functions import *' 这样的函数,因为我会出现错误“NameError:name xyz not defined”。

我如何在Canvas工具中利用这些函数?

profile picture
EXPERTE
gefragt vor einem Jahr21 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 你好,

是的,你需要在自定义转换功能中导入所需的所有库。

如果你想要运行 SparkSQL,你也可以使用 SQL 转换功能。

希望这可以帮到你。

profile picture
EXPERTE
beantwortet vor einem Jahr

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen