1 réponse
- Le plus récent
- Le plus de votes
- La plupart des commentaires
0
Input/Output errors almost always indicate a network connection problem between the DataSync agent and HDFS NameNode or HDFS DataNodes. You can check this here:
You need to validate the namenode metadata service port (IPC port) set on the core-site.xml under the following property: fs.defaultFS or fs.default.name, depending upon your Hadoop distribution.
$ grep -A 2 -B 1 -i fs.default core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://ip-xx-xx-xx-xx.ec2.internal:8020</value>
</property>
You must also validate the datanode port setting under dfs.datanode.address property.
$ grep -A 2 -B 1 -i dfs.datanode.address hdfs-site.xml
<property>
<name>dfs.datanode.address</name>
<value>xxx.xxx.xxx.xxx:1004</value>
</property>
Are you using Simple Authentication or Kerberos Authentication?
répondu il y a 2 ans
Contenus pertinents
- demandé il y a un an
- demandé il y a un an
- demandé il y a un an
- AWS OFFICIELA mis à jour il y a un an
- AWS OFFICIELA mis à jour il y a 2 ans
- AWS OFFICIELA mis à jour il y a 8 mois
- AWS OFFICIELA mis à jour il y a 3 ans
I am using Simple authentication.