EMR主节点无法在端口8020上为HUE HADOOP和Core节点进行RPC通信

0

【以下的问题经过翻译处理】 尝试将HUE作为EMR服务器上托管的Web界面,用于发出HIVE QL查询。文件连接能够正常工作,可以轻松探索S3文件(这可能不需要托管的Core节点)。但任何尝试使用HIVE QL创建表格的操作(这可能需要托管的Core节点以获得效率)都会导致远程过程调用错误:“java.net.NoRouteToHostException No Route to Host from ip-xxx-xx-xx-xxx.us-west-1.compute.internal/172.31.29.217 to ip-yyy-yy-yy-yyy.us-west-1.compute.internal:8020 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host”。但根据EMR服务端口列表(https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-service-ports.html),8020由namenode用于rpc通信,并且会自动启动,用户不应设置用于访问的端口,这会违反安全规定,我该怎么做才能解决这个错误?

profile picture
专家
已提问 5 个月前44 查看次数
1 回答
0

【以下的回答经过翻译处理】 首先需要确定这些IP/FQDN属于同一个EMR集群,并且它们之间有路由。

ip-xxx-xx-xx-xxx.us-west-1.compute.internal/172.31.29.217 ip-yyy-yy-yy-yyy.us-west-1.compute.internal:8020

由于这是在“CREATE table”语句中发生的,因此怀疑可能在指向不同集群的HDFS的HIVE数据库上创建了一个HIVE表。你是否在这个集群和之前终止的EMR集群中使用了共同的HIVE元数据存储?可以通过使用DESCRIBE DATABASE EXTENDED your_database_name查看数据库/数据表的“LOCATION”信息或转到元数据库并检查相关模式来验证这一点。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则