Spark3.2教程（十）编程Scala程序在Standalone集群中运行

2021-12-24 22:03:10 阅读：207 来源： 互联网

标签：file val scala Scala jar item Standalone Spark3.2 main

如果运行出现以下报错：

Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.ClassTag$.Int()Lscala/reflect/ManifestFactory$IntManifest;

是Scala版本不匹配造成，请参见：
Spark3.2教程（前置）关于Spark3.2.0与Scala版本的坑

在IDEA中开发：

package com.alan

import org.apache.spark.{SparkConf, SparkContext}

object Test1 {
  def main(args: Array[String]): Unit = {
    //创建SparkContexta
    //本地运行
    // val conf=new SparkConf().setMaster("local[2]").setAppName("WordCount")
    //提交运行
    val conf = new SparkConf().setAppName("WordCound");
    val sc = new SparkContext(conf)
    //加载文件
    val file = sc.textFile("hdfs://hp301:9000/ee/b.txt")
    //val file=sc.textFile("file:///d:/test/words.txt")
    //处理
    val flatFile = file.flatMap(item => item.split(" "))
    val flatFileMap = flatFile.map(item => (item, 1))
    val aggCount = flatFileMap.reduceByKey((curr, agg) => curr + agg)
    //得到结果
    aggCount.foreach(item => println(item))
  }
}

注意：本次是从HDFS中取数据进行计算，如果没有配置Hadoop，可以改成从Linux本地读取。
配置pom.xml中打包插件，为了将依赖都打入包中：

<bulid>
  <!--指定源码包和测试包的位置-->
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <!-- 该插件用于将 Scala 代码编译成 class 文件 -->
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <executions>
                    <execution>
                        <!-- 声明绑定到 maven 的 compile 阶段 -->
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <scalaVersion>${scala.version}</scalaVersion>
                            <args>
                                <arg>-target:jvm-1.8</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

            <!--maven打包的插件-->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>com.alan.Test1</mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
</build>

双击package命令，执行Maven打包：
在这里插入图片描述
将打好的包上传到linux的/apps文件夹下，执行命令：

 spark-submit --master spark://hp301:7077  /apps/test_s2-1.0-SNAPSHOT-jar-with-dependencies.jar

在Web UI中可以看到结果：
在这里插入图片描述

在这里插入图片描述

标签：file,val,scala,Scala,jar,item,Standalone,Spark3.2,main
来源： https://blog.csdn.net/GodBlessYouAndMe/article/details/122128654

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Spark3.2教程（十）编程Scala程序在Standalone集群中运行