标签：rt 文件 String map age case mr spark name

lyzx1,19
lyzx2,20
lyzx3,21
lyzx4,22
lyzx5,23
lyzx6,24
lyzx7,25
托塔天王
lyzx7,25,哈哈

package com.zxwa.live.process.test

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object ScalaTs {


  def main(args: Array[String]): Unit = {

    val sparkContext = new SparkContext(new SparkConf().setAppName("ProductSalesStat").setMaster("local[*]"))
    val rdd = sparkContext.textFile("E:\\Data\\LIVE-DATA-SPARK\\src\\main\\resources\\people.txt")
    rdd.map(line => line.split(","))
      .map(rt => 
        if (rt.length == 1) rt(0)
        else if (rt.length == 2) (rt(0), rt(1))
        else (rt(0), rt(1), rt(2))
      )
      .map {
        case (one: String) => "one:" + one
        case (name: String, age: String) => ("name:" + name, "age:" + age)
        case _ => ("_name", "_age", "_")
      }
      .foreach(println)
  }
}

标签：rt,文件,String,map,age,case,mr,spark,name
来源： https://www.cnblogs.com/JYB2021/p/16230524.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。