Spark简介 诞生与发展 诞生于加州大学伯克利分校AMP实验室，是一个基于内存的分布式计算框架 发展历程： 2009年诞生于加州大学伯克利分校AMP实验室 2010年正式开源 2013年6月正式成为Apache孵化项目 2014年2月成为Apache顶级项目 2014年5月正式发布Spark 1.0版本 2014年10月Spar
大数据生态与spark简介 一、大数据的四个特点 Volume：数据量大，包括采集、存储和计算的量都非常大。Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据。Value：数据价值密度相对较低，随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低。Velocit
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，外加Zookeeper对应于Chub
01 大数据概述 1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，
（1）Hadoop生态系统的各个组件及其关系： （2）Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系： HDFS是底层存储系统，YARN和Hbase基于它； YARN相当于一个操作系统，MapReduce和Spark等框架基于它来计算； Hbase是基于HDFS的分布式数据库。
Hadoop伪分布式环境搭建 搭建环境 hadoop的搭建在虚拟机上完成，具体的配置如下： 虚拟机:VMWare Workstation Pro操作系统:Ubuntu20.04Hadoop:2.7.4JDK:1.8.0_271maven:3.6.3protobuf:2.5.0 安装过程 JDK安装 将下载的JDK解压到目录/opt/local下，并在/etc/profile最后添加 exp
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式处理、可以运行在廉价商用服务器上，访问应用
分布式计算的基本内涵 什么叫做计算？ 在大型机时代 20世纪初，图灵设计了第一个理论计算机模型；1946年，美国州立大学穆克利第一台通用电子计算机ENIAC（电子数字积分计算机） ，体积和计算能力有限，不能存储程序，没有设计输入输出；1945年，冯诺依曼设计的EDVAC（离散变量自动电子计算机）； 1997年，IBM。
Linux常用基础命令使用 1：在根目录新建hadoop目录，进入目录，创建1.txt 空文本文件，然后写入abc（写入命令: echo “abc” > 1.txt ） 新建目录（文件夹）：mkdir hadoop进入目录：cd hadoop创建文件：touch 1.txt写入abc: echo “abc” > 1.txt查看txt文件：cat 1.txt （concatenate 连续） 2：拷贝1.tx
大数据技术概述 一，大数据概念： 无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处
一、概述 大数据 大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 大数据的5V特点（IBM提出）： Volume（大量）Velocity（高速）Variety（多样）Valu
项目场景： MapReduce程序运行报错： Exception in thread "main" java.lang.UnsatisfiedLinkError : org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 原因分析： 查看了编辑器的hadoop版本后，才发现，C:\Windows\System32目录下的hadoop.dill版本
大数据的存储 1.存储方式 1.1 块存储 块存储就好比硬盘一样，直接挂载到主机，一般用于主机的直接存储空间和数据库应用的存储。它分两种形式： DAS：一台服务器一个存储，多机无法直接共享，需要借助操作系统的功能，如共享文件夹。 SAN：
当在终端执行sudo命令时，系统提示“hadoop is not in the sudoers file”： 其实就是没有权限进行sudo，解决方法如下（这里假设用户名是cuser）： 1.切换到超级用户：$ su 2.打开/etc/sudoers文件：$vim /etc/sudoers 3.修改文件内容： 找到“root ALL=(ALL) ALL”一行，在下面插
MapReduce过程详解 数据运行的底层目前还是以hadoop为主，我们主要接触的还是上层抽象出来的比较方便的数据工具，例如hive，spark，impala等等，那么hadoop底层的核心原理又是什么呢？ hadoop的底层核心由HDFS，MapReduce和YARN组成，HDFS是大数据的存储引擎，分布式文件系统，YARN是资源调度系统，而
ES与 Kibana安装部署 一、ElasticSearch安装部署 1.1 安装包下载 1）ElasticSearch官网： https://www.elastic.co/cn/downloads/elasticsearch 1.2 ElasticSearch安装 1.2.1 解压安装ElasticSearch 1）解压elasticsearch-6.6.0.tar.gz到/opt/module目录下 [hadoop@hadoop102 soft
大数据初入门 大数据简介Hadoop简介Apache Hadoop的重要组成总结 大数据简介 - 大数据定义 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处 理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的
Hadoop伪分布式集群环境的搭建 CentOS系统的安装与配置准备工作关闭防火墙和禁用SELINUX配置hostname与IP地址之间的对应关系创建用户和用户组 JDK的安装利用XShell建立连接、上传文件JDK的安装与配置 Hadoop伪分布式集群的安装配置上传文件与解压修改配置文件最后的工作与
支持LZO压缩配置 hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。 hadoop-lzo编译（点我打开） 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/ 同步hadoop-lzo-0.4.20.
1.Hadoop运行环境搭建 1.1 虚拟机环境准备 虚拟机镜像为Centos7.5版本。 1.1.1 修改虚拟机的静态IP 此步骤可参考Linux网络配置和远程登录问题一文。 sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改为： DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static
接上一篇hive开发之maven手动安装jar包，点击可跳转 添加pom依赖，说明version要与环境一致，不然可能会因为版本不一致问题报错 <dependencies> <!--添加Hadoop依赖--> <dependency> <groupId>org.apache.hadoop</groupId > <artifactId
1、 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop起源于谷歌发布的三篇论文：GFS、MapReduce、BigTable。其中GFS是谷歌的分布式文件存储系统，MapReduce是基于这个分布式文件存储系统的一个计算框架，BigTable是一个分布式的数据库。hadoop实现了论文GFS和
1.Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行 2.Hadoop2.x以上支持双机热备 3.Hadoop神奇的一部分在于sort和shuffle过程 4.Hadoop本身提供了一套可优化网络序列化传输的基本类型： LongWritable 相对于 Java 的Long Te
Hbase集群搭建 基于上一篇Hadoop集群已经搭建完成基础上（需要的朋友可以翻看我的上一篇博文），我们来完成Hbase的搭建工作。 一、节点规划 服务/机器 node21(10.10.26.21) node245(10.10.26.245) node255(10.10.26.255) NameNode Y DataNode Y Y Y Zookeeper Y Y Y Reg
规划 cancer01 master/worker cancer02 worker cancer03 worker cancer04 worker cancer05 worker 准备 su hadoop 安装scala 每台机器上 cd /usr/local wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz tar zxf scala-2.11.8.tgz mv scala-2.11.8 sc
