aws-glue-libs:glue_libs_3.0.0_image_01 镜像问题

0

【以下的问题经过翻译处理】 我在aws-glue-libs:glue_libs_3.0.0_image_01镜像中遇到问题。 在本地启动正常,但在尝试读取本地存储的csv文件时出现错误: 遇到错误: 路径不存在:file:/home/glue_user/workspace/employees.csv Traceback (most recent call last): File "/home/glue_user/spark/python/pyspark/sql/readwriter.py", line 737, in csv return self._df(self._jreader.csv(self._spark._sc._jvm.PythonUtils.toSeq(path))) File "/home/glue_user/spark/python/lib/py4j-0.10.9-src.zip/py4j/java_gateway.py", line 1305, in call answer, self.gateway_client, self.target_id, self.name) File "/home/glue_user/spark/python/pyspark/sql/utils.py", line 117, in deco raise converted from None pyspark.sql.utils.AnalysisException: 路径不存在:file:/home/glue_user/workspace/employees.csv

或者当我尝试使用以下命令启动时:

docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" -v C:/Docker/jupyter_workspace****:/home/glue_user/workspace** ** --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/glue_user/jupyter/jupyter_start.sh

则容器无法启动,出现以下错误:

初始化期间遇到错误的配置:无此目录:''/home/glue_user/workspace/jupyter_workspace''

profile picture
专家
已提问 1 年前43 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

假设你的文件employees.csv存在于你本地路径C:/Docker/jupyter_workspace中,我可以看到你希望使用以下命令将其挂载到docker容器中的位置**/home/glue_user/workspace/jupyter_workspace/**。

docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" -v C:/Docker/jupyter_workspace:/home/glue_user/workspace/jupyter_workspace/ --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/glue_user/jupyter/jupyter_start.sh

然而,当你尝试使用下面的语句读取文件时:

df = spark.read.csv("employees.csv")

根据错误消息,Spark似乎在位置**/home/glue_user/workspace/**中查找文件。因此,你可以尝试使用完整路径或以下语句:

df = spark.read.csv("jupyter_workspace/employees.csv")
profile picture
专家
已回答 1 年前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则