标签：HDFS FS java hdfs hive 报错 8020 nameservice1 spark

背景:

　　CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。

　　在使用spark-sql 写入hive时报错：

Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs://nameservice1:8020/dw/ods/ods_node_data_i_temp/.hive-staging_hive_419_7110989444187264968-1/-ext-10000/part-00000-06fbe811-3711-486a-aa27-dcbebd5cfab2-c000, expected: hdfs://nameservice1
	at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:649)
	at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:194)
	at org.apache.hadoop.hdfs.DistributedFileSystem.getEZForPath(DistributedFileSystem.java:2093)
	at org.apache.hadoop.hdfs.client.HdfsAdmin.getEncryptionZoneForPath(HdfsAdmin.java:289)
	at org.apache.hadoop.hive.shims.Hadoop23Shims$HdfsEncryptionShim.isPathEncrypted(Hadoop23Shims.java:1221)

　　1.确认spark正常读取到hive配置文件

　　spark-env.sh

export HADOOP_CONF_DIR=/etc/hadoop/conf:/etc/hive/conf

　　spark历史服务器上查看和bin/spark-sql --master yarn 确认了spark正常读取到hive配置文件

　　2.虽然不太可能是编译问题，但确认下

　　　编程编译环境是scala2.11.12,spark2.4.6和服务器环境匹配

　　3.排查namenodeservice1问题

　　查看hive元数据表

　　DBS  ： Hive数据仓库的总路径

　　SDS  ： Hive每张表对应的路径

 

 

对比着可以发现，似乎有点路径多了":8020".

查看表ddl

LOCATION
'hdfs://nameservice1:8020/dw/ods/xx'

 

指定表路径时确实多了":8020"，去掉":8020"创建新表测试，问题解决。

对旧表

update SDS set LOCATION=REPLACE (LOCATION,'nameservice1:8020','nameservice1')

　或者使用

alter table tableName set location 'hdfs://nameservice1:8020/dw/ods/xx'

　　

标签：HDFS,FS,java,hdfs,hive,报错,8020,nameservice1,spark
来源： https://www.cnblogs.com/huangguoming/p/16529278.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。