如何从 EMR serverless spark jobs 连接 postgresql 数据库
0
【以下的问题经过翻译处理】 Hi，我想在 EMR Serverless上运行一个Job，该Job从 PostgreSQL 中读取和写入数据。我已经下载了 Jar 文件并将其上传到 S3，并在管理控制台的 Spark 属性中设置了 "spark.jars"。然而，作业失败了。
谢谢，Muthu
1回答
- 新しい順
- 投票が多い順
- コメントが多い順
0
【以下的回答经过翻译处理】 感谢大家的回复，我按 Dacort 评论的方法解决了问题，通过在 VPC 中设置我的无服务器应用程序，并确保安全组具有对数据库的访问权限。这是我的代码片段： sample_data = spark.read.format("jdbc").options(
url='jdbc:postgresql://<sample-name>.<region-name>.rds.amazonaws.com/dev',
dbtable='public."<sample-name>"',
user='<sample-user>',
password='<sample-pass>',
driver='org.postgresql.Driver').load()
这是我之前遇到的错误信息 Caused by: java.net.SocketTimeoutException: connect timed out : org.postgresql.util.PSQLException: The connection attempt failed.
関連するコンテンツ
- 質問済み 7年前
AWS公式更新しました 2年前- AWS公式更新しました 1ヶ月前
- AWS公式更新しました 3ヶ月前
