[AWS Glue]context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

0

我在Glue使用 PySpark。收到警告:context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

script sample

想請問為什麼我會收到此警告, 因為我已經使用過 SparkSession.builder.getOrCreate() 如何更正此警告?

Cole
已提問 1 年前檢視次數 579 次
2 個答案
0
已接受的答案

您好,作為AWS技術支持團隊,我們對負責代碼開發的AWS內部服務團隊的相關規劃缺乏可見性,因此無法了解和確認他們是否計劃在未來修正此警告。正如之前的回復中提到的,此警告不會對作業運行產生影響,目前您可忽略此警告。感謝您的理解和支持。

AWS
Patrick
已回答 1 年前
0

您好,此警告是由於AWS Glue提供的GlueContext等庫的實現和spark實現引起的,與內部代碼有關,不影響作業執行。更正此警告需要涉及到內部相關代碼的更新。因此,請您目前忽略此警告。以下是與此警告相關的一些其它資源,供您參考:

https://issues.apache.org/jira/browse/SPARK-32897
https://github.com/apache/spark/pull/29768
https://spark.apache.org/docs/3.0.1/api/python/_modules/pyspark/sql/context.html
https://stackoverflow.com/questions/72597291/context-py79-futurewarning-deprecated-in-3-0-0-use-sparksession-builder-geto

AWS
Patrick
已回答 1 年前
  • Hi Patrick, 謝謝您的回覆以及提供的參考資訊, 所以目前是可以先忽略此警告。

    關於您提到的"更正此警告需要涉及到內部相關代碼的更新", 這個意思是未來AWS會更新內部代碼來修正此警告嗎 ?

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南