如何从 EMR serverless spark jobs 连接 postgresql 数据库

0

【以下的问题经过翻译处理】 Hi,我想在 EMR Serverless上运行一个Job,该Job从 PostgreSQL 中读取和写入数据。我已经下载了 Jar 文件并将其上传到 S3,并在管理控制台的 Spark 属性中设置了 "spark.jars"。然而,作业失败了。

谢谢,Muthu

profile picture
EXPERTE
gefragt vor einem Jahr69 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 感谢大家的回复,我按 Dacort 评论的方法解决了问题,通过在 VPC 中设置我的无服务器应用程序,并确保安全组具有对数据库的访问权限。这是我的代码片段: sample_data = spark.read.format("jdbc").options(

url='jdbc:postgresql://<sample-name>.<region-name>.rds.amazonaws.com/dev',

dbtable='public."<sample-name>"',

user='<sample-user>',

password='<sample-pass>',

driver='org.postgresql.Driver').load()

这是我之前遇到的错误信息 Caused by: java.net.SocketTimeoutException: connect timed out : org.postgresql.util.PSQLException: The connection attempt failed.

profile picture
EXPERTE
beantwortet vor einem Jahr

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen