SparkR无法执行

0

【以下的问题经过翻译处理】 我正在尝试从Sagemaker笔记本控制一个Spark集群(使用SparkR)。我遵循了这些说明:https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/并使其正常工作。

今天,当我尝试运行SageMaker笔记本(使用与之前完全相同的代码)时,但遇到以下错误:

遇到错误:
[1] “在调用J方法(sparkSession,\"read\")时出错:无效的jobj 1。如果重新启动SparkR,则需要重新执行Spark操作。”

有人知道这是为什么吗?我终止了SparkR核心,仍然遇到了这个错误。

profile picture
专家
已提问 5 个月前41 查看次数
1 回答
0

【以下的回答经过翻译处理】 在一个JVM中不能拥有多个SparkContexts。这个问题被解决为“不会修复”。您必须停止生成sparkcontext的spark session(您已经完成了这一步)。

sparkR.session.stop()

https://issues.apache.org/jira/browse/SPARK-2243

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则