1 réponse
- Le plus récent
- Le plus de votes
- La plupart des commentaires
0
【以下的回答经过翻译处理】 你好,我认为最后一步的问题在于获取正确的 --jars 设置。你提供的好像是打好包的 pyspark 环境吧,而这不是实际的 delta-core jar 文件。
根据你运行的 EMR 版本,你有几个办法可以尝试:
对于 EMR 6.9.0,Delta Lake 2.1.0 已包含在 EMR Serverless 镜像中。如果你使用相同的版本,你可以在 sparkSubmitParameters 参数中将 spark.jars=/usr/share/aws/delta/lib/delta-core.jar,/usr/share/aws/delta/lib/delta-storage.jar 作为 --conf 项进行指定。你可能还需要在那里添加其他项(如 spark.sql.extensions),如快速入门<https://docs.delta.io/latest/quick-start.html>中所述。
在 EMR 6.9.0 之前,你必须使用 --packages 标志来指定你的 Java 依赖项,或将 delta-core jar 上传到 S3。你可以在 EMR Serverless 文档<https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/using-delta-lake.html> 中找到更多关于这种方法的详细信息。
如果你使用的 Delta Lake 版本与安装在 EMR Serverless 上的版本不匹配,你也可以使用 --packages 参数或按上述方式上传 delta-core jar。--packages 标志将成为 sparkSubmitParameters 的一部分:--packages io.delta:delta-core_2.12:2.2.0。
希望对你有帮助。
Contenus pertinents
- demandé il y a un mois
- demandé il y a 2 mois
- Réponse acceptéedemandé il y a 8 mois
- AWS OFFICIELA mis à jour il y a 2 ans
- AWS OFFICIELA mis à jour il y a un an
- AWS OFFICIELA mis à jour il y a 2 ans
- AWS OFFICIELA mis à jour il y a un an