ICode9

精准搜索请尝试: 精确搜索
  • 写在开头:Blink开源,Spark3.0,谁才是大数据领域最闪亮的星?2021-06-10 21:08:20

      2018和2019年是大数据领域蓬勃发展的两年,自2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。 最近Spark社区,来自Databricks、NVIDIA、Google以及阿里巴巴的工

  • 写在开头:Blink开源,Spark3.0,谁才是大数据领域最闪亮的星?2021-06-10 21:08:00

      2018和2019年是大数据领域蓬勃发展的两年,自2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。 最近Spark社区,来自Databricks、NVIDIA、Google以及阿里巴巴的工

  • win10下安装Spark3.0和Hadoop3.1.32021-05-24 23:34:08

    1、spark win10安装 (1)解压文件到无空格的安装目录,安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 (2)添加环境变量 SPARK_HOME :D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2%SPARK_HOME%\bin%SPARK_HOME%\sbin (3)测试 cmd下输入spark-shell 2、Hadoop wi

  • spark3.0版本--SparkSQL2021-02-27 13:30:44

    spark3.0版本--SparkSQL 第1章 Spark SQL概述 1.1 什么是Spark SQL 1.2 为什么要有Spark SQL 1.3 Spark SQL原理 1.3.1 什么是DataFrame 1.3.2 什么是DataSet 1.3.3 RDD、DataFrame和DataSet之间关系 1.4 Spark SQL的特点 第2章 Spark SQL编程 2.1 SparkSession

  • CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群2021-01-03 19:32:55

    CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群 VMWare 安装CentOS 7使用Xshell连接虚拟机集群设置安装JDK 1.8SSH 免密登陆安装hadoop 3.2安装Spark 3.0.1总结   VMWare 安装CentOS 7 推荐使用VMware Workstation Pro 16,下载安装即可。下载最新的CentOS 7 Minimal-2009.i

  • Spark3.0.1各种集群模式搭建2020-11-21 23:33:29

    对于spark前来围观的小伙伴应该都有所了解,也是现在比较流行的计算框架,基本上是有点规模的公司标配,所以如果有时间也可以补一下短板。 简单来说Spark作为准实时大数据计算引擎,Spark的运行需要依赖资源调度和任务管理,Spark自带了standalone模式资源调度和任务管理工具,运行在其他资源

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有