ff

2021-07-03 12:02:59 阅读：208 来源： 互联网

标签：版本 scala ff apache org spark SparkConf

使用IDEA工具运行Spark的WordCount时，运行报错，报错信息如下

Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
at org.apache.spark.SparkConf$DeprecatedConfig.<init>(SparkConf.scala:810)
at org.apache.spark.SparkConf$.<init>(SparkConf.scala:644)
at org.apache.spark.SparkConf$.<clinit>(SparkConf.scala)
at org.apache.spark.SparkConf.set(SparkConf.scala:95)
at org.apache.spark.SparkConf.set(SparkConf.scala:84)
at org.apache.spark.SparkConf.setMaster(SparkConf.scala:116)
at fgdfgdf$.main(fgdfgdf.scala:8)
at fgdfgdf.main(fgdfgdf.scala)

　由博客　https://www.cnblogs.com/zengsong-restService/p/10599007.html

https://blog.csdn.net/weixin_45568872/article/details/104325865

所说，大概原因为:当前idea引入的scala运行环境版本与idea默认的scala版本不一样

失败的做法一：1，同样去查看本项目的Project Structure，点击Libraries以及Global Libraries选项查看，显示版本一致，scala版本为2.11.12

　　2，心存侥幸，尝试修改Scala版本为2.12.10，结果无变化，依然报错。遂，改回2.11.12版本。下图为尝试修改的Scala版本，均失败告终。

成功的做法二：

pom.xml文件中，检查Spark对应的依赖如下：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.3</version>
</dependency>

　　尝试把spark依赖改为2.4.4以及2.4.0版本，结果无变化，失败

　　尝试把spark依赖改为2.2.1版本，成功了！

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.2.1</version>
</dependency>

　　不直接具体是何原因，大概是Scala版本与Spark版本不一致，冲突导致， 还只能降低spark版本来解决，以后遇到这个的具体起因会回来更新，并给出具体详细解决办法。若有经验者，望不吝赐教。

标签：版本,scala,ff,apache,org,spark,SparkConf
来源： https://www.cnblogs.com/ycbc/p/14966031.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

ff