https://zhuanlan.zhihu.com/p/72921234?utm_source=wechat_session&utm_medium=social&utm_oi=676794672505163776
# hive # show databases; hive> show databases; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 查看log日志： hive.
1.项目引入mysql和oracle驱动 2.将mysql和oracle驱动上传到hdfs 3.远程调试源代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 import org.apache.spark.sql.SQLContext import
1.spark SQL简介 官网：http://spark.apache.org/ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程对象，叫DataFrame，并且作为分布式SQL查询引擎的作用 2.为什么要学习spark SQL 2.1 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简
一：根据某个字段排序 测试数据： SQL> select * from sscore; NAME SCORE ---------- ----- aa 99 bb 56 cc 56 dd 77 ee 78 ff
讨论QQ：1586558083 目录 一、SparkSQL的进化之路 二、认识SparkSQL 2.1 什么是SparkSQL? 2.2 SparkSQL的作用 2.3 运行原理 2.4 特点 2.5 SparkSession 2.7 DataFrames 三、RDD转换成为DataFrame 3.1 方式一：通过 case class 创建 DataFrames（反射） 3.2 方式二
定义 SpaekSQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 特点 （1）易整合 （2）统一的数据访问方式 （3）兼容hive （4）标准的数据连接 DataFrame DataFrame是 一个分布式数据容器，还记录数据的结构信息（schema），同时，也支持
1.需求： 读取test表中的客群编码以及需要执行的获取客群明细的sql语句执行获取客群明细sql将客群编码与客群明细写入结果表中 2,.数据准备 drop table sospdm.tmp_yinfei_test;create table sospdm.tmp_yinfei_test( id string comment '客群id',exe_sql string comment
开始编写我们的统计逻辑，使用row_number()函数 先说明一下，row_number()开窗函数的作用 其实就是给每个分组的数据，按照其排序顺序，打上一个分组内行号 比如说，有一个分组20151001，里面有三条数据，1122，1121，1124 那么对这个分组的每一行使用row_number()开窗函数以后，三行依次会获得一个组
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在group by之后使用的sum,avg等 UDTF(User-Defined Table-Generating F
前言 在现代的企业运营中，除了是和竞争对手比拼产品的功能、市场的推广能力外，还需要和竞争对手比拼业务数据的挖掘能力，所以现在越来越多的企业对业务数据的重视程度越来越高，并且在数据分析和数据挖掘方面投入更多的资源，希望能够在此领域领先于竞争对手，从而占据商业竞争中更加有
https://www.cnblogs.com/zzhangyuhang/p/9039695.html 在Spark1.6中我们使用的叫Hive on spark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。 这是Spark 1.x 版本的语法 1 2 3 4 5 //set up the spark configuration and create contexts v
1.读取json文件，并且进行查询等操作 所使用的jar包为 json文件内容 { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 } { "id":3 ,"name":"Jack","age&
SQLContext的使用 SQLContext在Spark1.6中使用，在spark2.x中已经标记为过时，不推荐使用。 示例代码 package com.spark import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext /* SQLContext的使用 */ object SQLContextAPP { def mai
HiveContext的使用 HiveContext也是已经过时的不推荐使用。 相关配置 如果想要用spark访问hive的表需要进行一下的配置 1. 拷贝 ${HIVE_HOME}/conf/hive-site.xml到 ${SPARK_HOME}/conf中 2. 在pom.xml文件中添加一下依赖 示例代码 package com.spark import org.apache.spar
在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的context。例如，对于Streming，我们需要使用StreamingContext；对于sql，使用sqlContext；对于hive，使用hiveContext。但是随着D
