[AWS Glue]context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

0

我在Glue使用 PySpark。收到警告:context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

script sample

想請問為什麼我會收到此警告, 因為我已經使用過 SparkSession.builder.getOrCreate() 如何更正此警告?

Cole
gefragt vor einem Jahr660 Aufrufe
2 Antworten
0
Akzeptierte Antwort

您好,作為AWS技術支持團隊,我們對負責代碼開發的AWS內部服務團隊的相關規劃缺乏可見性,因此無法了解和確認他們是否計劃在未來修正此警告。正如之前的回復中提到的,此警告不會對作業運行產生影響,目前您可忽略此警告。感謝您的理解和支持。

AWS
Patrick
beantwortet vor einem Jahr
0

您好,此警告是由於AWS Glue提供的GlueContext等庫的實現和spark實現引起的,與內部代碼有關,不影響作業執行。更正此警告需要涉及到內部相關代碼的更新。因此,請您目前忽略此警告。以下是與此警告相關的一些其它資源,供您參考:

https://issues.apache.org/jira/browse/SPARK-32897
https://github.com/apache/spark/pull/29768
https://spark.apache.org/docs/3.0.1/api/python/_modules/pyspark/sql/context.html
https://stackoverflow.com/questions/72597291/context-py79-futurewarning-deprecated-in-3-0-0-use-sparksession-builder-geto

AWS
Patrick
beantwortet vor einem Jahr
  • Hi Patrick, 謝謝您的回覆以及提供的參考資訊, 所以目前是可以先忽略此警告。

    關於您提到的"更正此警告需要涉及到內部相關代碼的更新", 這個意思是未來AWS會更新內部代碼來修正此警告嗎 ?

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen