[AWS Glue]context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

0

我在Glue使用 PySpark。收到警告:context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

script sample

想請問為什麼我會收到此警告, 因為我已經使用過 SparkSession.builder.getOrCreate() 如何更正此警告?

Cole
demandé il y a un an673 vues
2 réponses
0
Réponse acceptée

您好,作為AWS技術支持團隊,我們對負責代碼開發的AWS內部服務團隊的相關規劃缺乏可見性,因此無法了解和確認他們是否計劃在未來修正此警告。正如之前的回復中提到的,此警告不會對作業運行產生影響,目前您可忽略此警告。感謝您的理解和支持。

AWS
Patrick
répondu il y a un an
0

您好,此警告是由於AWS Glue提供的GlueContext等庫的實現和spark實現引起的,與內部代碼有關,不影響作業執行。更正此警告需要涉及到內部相關代碼的更新。因此,請您目前忽略此警告。以下是與此警告相關的一些其它資源,供您參考:

https://issues.apache.org/jira/browse/SPARK-32897
https://github.com/apache/spark/pull/29768
https://spark.apache.org/docs/3.0.1/api/python/_modules/pyspark/sql/context.html
https://stackoverflow.com/questions/72597291/context-py79-futurewarning-deprecated-in-3-0-0-use-sparksession-builder-geto

AWS
Patrick
répondu il y a un an
  • Hi Patrick, 謝謝您的回覆以及提供的參考資訊, 所以目前是可以先忽略此警告。

    關於您提到的"更正此警告需要涉及到內部相關代碼的更新", 這個意思是未來AWS會更新內部代碼來修正此警告嗎 ?

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions