[AWS Glue]context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

Question

我在Glue使用 PySpark。收到警告：context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

![script sample](/media/postImages/original/IMhQM-UB3gS6aQi0Gr8AFRQQ)

想請問為什麼我會收到此警告，
因為我已經使用過 SparkSession.builder.getOrCreate() 如何更正此警告？

Patrick · Accepted Answer

您好，作為AWS技術支持團隊，我們對負責代碼開發的AWS內部服務團隊的相關規劃缺乏可見性，因此無法了解和確認他們是否計劃在未來修正此警告。正如之前的回復中提到的，此警告不會對作業運行產生影響，目前您可忽略此警告。感謝您的理解和支持。

Patrick · Answer

您好，此警告是由於AWS Glue提供的GlueContext等庫的實現和spark實現引起的，與內部代碼有關，不影響作業執行。更正此警告需要涉及到內部相關代碼的更新。因此，請您目前忽略此警告。以下是與此警告相關的一些其它資源，供您參考：

https://issues.apache.org/jira/browse/SPARK-32897  
https://github.com/apache/spark/pull/29768  
https://spark.apache.org/docs/3.0.1/api/python/_modules/pyspark/sql/context.html  
https://stackoverflow.com/questions/72597291/context-py79-futurewarning-deprecated-in-3-0-0-use-sparksession-builder-geto

[AWS Glue]context.py:79: FutureWarning: Deprecated in 3.0.0. Use SparkSession.builder.getOrCreate() instead

相關內容