1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/install 3、上传安装包到服务器中 通过FTP工具上传安装包到node01服务器上 4、解压安装包
第一步：下载安装包 https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7 第二步：上传并解压 将我们下载好的安装包上传到hadoop03服务器的/bigdata/soft路径下，然后进行解压 cd /bigdata/soft/ tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /bigdata/install 第三步：修改配置文
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略 目录 Hadoop的简介 1、HDFS体系结构图 Hadoop的深入理解 0、深入了解Hadoop的其它相关基础知识 0.1、Hbase数据管理——Hadoop database 0.2、Hive数据管理——建立在Hadoop上的数据仓库基础架构 0.
BigData之Storm：Apache Storm的简介、深入理解、下载、案例应用之详细攻略 目录 Apache Storm的简介 Apache Storm的深入理解 1、Storm与hadoop 2、Apache Storm的API Apache Storm的下载 Current 2.2.x Release Apache Storm的案例应用 1、Apache Storm集成 Apa
BigData：基于python编程—根据中国各个城市地理坐标+人口、GDP大数据进行标记中国地图、热点图、动态图 目录 输出结果 1、地理坐标图 2、GDP热点图 3、人口热力图 输出结果 1、地理坐标图 根据中国各个城市地理坐标标记中国地图 2、GDP热点图 中国部分城市GDP贡
BigData：根据最新2018.07.19《财富》世界500强榜单进行大数据分析 目录 一、2018《财富》世界500强榜单数据源 二、根据大数据进行图表可视化 1、数据图表统计 2、绘制2018《财富》世界500强公司所属国家坐标地点分布图 3、绘制2018《财富》世界500强公司主要分布在的
Hive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中 1 HBase与Hive的对比 1.1 Hive 数据仓库管理系统 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射
教程目录 0x00 教程内容 0x01 下载Storm 1. 下载Storm 2. 上传安装包到节点 0x02 安装与配置Storm 1. 解压Storm 2. 配置Storm 0x03 启动并校验Storm 1. 启动Storm 2. 校验Storm 0xFF 总结 0x00 教程内容 下载Storm 安装与配置Storm 启动并校验St
文章目录 0x00 文章内容 0x01 恢复非HA状态 1. 备份并恢复HA配置文件 2. 恢复master的Edits Log 0x02 校验结果 0x03 删除HA状态时多余的文件 1. 删除zookeeper上的相关数据 2. 删除journalNode管理的数据 3. 删除slave1上NameNode管理的数据 0xFF 总结 0x00 文章内容 恢复
教程目录 0x00 教程内容 0x01 YARN的初始化配置 1. 配置 yarn-site.xml 2. 同步配置文件到slave1、slave2节点 3. 校验YARN 0x02 使用YARN跑第一个例子 1. 配置YARN 2. 配置MapReduce 3. 同步配置文件与目录到slave1、slave2节点 4. 验证MapReduce是否配置成功 0x03 如何找到
教程目录 0x00 教程内容 0x01 Hadoop的获取 1. 官网下载 2. 添加微信：shaonaiyi888 3. 关注公众号：邵奈一 0x02 上传安装包到集群 1. 上传安装包到虚拟机 0x02 安装与配置Hadoop 1. 解压Hadoop 2. 配置Hadoop 3. 同步Hadoop到slave1、slave2 4. 校验HDFS 0x03 简便配置 1. 环境
目录 1. 安装要求2. 下载(在bigdata001操作)3. 配置conf/zoo.cfg(在bigdata001操作)3.1 编辑zoo.cfg 4. ZK目录分发(在bigdata001操作)4.1 修改myid启动ZK 1. 安装要求 至少3台服务器，本示例3台服务器的hostname分别为bigdata001、bigdata002、bigdata003每台服务器安装J
一、安装git 1.最新git源码下载地址： https://github.com/git/git/releases https://www.kernel.org/pub/software/scm/git/ 安装git yum install git 查看yum源仓库Git信息 yum info git 2.安装依赖库 [root@wugenqiang ~]# yum install curl-devel expat-devel gettext-devel ope
案例演示：一、在linux环境下，在一台机器上创建3个节点，创建一个测试为目的的副本集1.首先创建3个不同的数据存储文件夹[root@wugenqiang db]# cd /usr/local/mongodb/data/db [root@wugenqiang db]# mkdir rs0-0 [root@wugenqiang db]# mkdir rs0-1 [root@wugenqiang db]#
背景介绍笔者环境中有多套oracle数据库通过oggfor bigdata将数据投递到kafka。简易架构如下：应用端只需要增量数据，故投递的表均添加全字段附加日志，以确保投递到kafka中每条消息均包含表记录的所有字段内容。话不多说，以下分享生产中实际问题及处理方法。问题一、表结构变更引起的复制
kerberos常用命令汇总 一、查看keytab文件对应的principal name 命令： klist -ket keytab文件名 klist -ket zeppelin1.bigdata.net.keytab Keytab name: FILE:zeppelin1.bigdata.net.keytab KVNO Timestamp Principal ---- ------------------- ------------------
部署 完全分布式高可用 Hadoop hdfs HA + yarn HA 标签（空格分隔）： 大数据运维专栏 一：hadoop HDFS HA 与 yarn HA 的 概述 二：部署环境概述 三：部署zookeeper 四：部署HDFS HA 与 yarn HA 五：关于 HA 的测试 一：hadoop HDFS HA 与 yarn HA 的 概述 1.1 HA 的概述 HA概述 1）所谓
1.1 准备安装包 下载安装包并上传到hadoop01服务器 安装包下载地址： https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2.2.6-bin.tar.gz 将安装包上传到node01服务器/bigdata/softwares路径下，并进行解压 [hadoop@hadoop01 ~]$ cd /bigdata/soft/ [hadoop@hadoop0
一.简易安装 curl -O https://arthas.aliyun.com/arthas-boot.jar 二.运行 java -jar arthas-boot.jar 三.使用 3.1 jad 反编译 -E使用正则 jad com.hongcheng.bigdata.startfish.controller.auth.LoginController jad -E .*?LoginController jad -E .*?LoginContr.* 3.2
搭建Zookeeper.3.5.7 集群 1. 集群规划2. 安装2.1 下载 zookeeper2.2 解压安装2.3 启动 3. 客户端命令行4. 脚本附录 1. 集群规划 服务名称子服务服务器node1服务器node2服务器node3ZookeeperZookeeper Server√√√ 2. 安装 2.1 下载 zookeeper 下载地址：https://zookeep
在线教育TopN讲师统计-★★★★★ 需求准备工作-字符串切割测试代码实现-1-所有学科老师TopN-RDD代码实现-2-各个学科老师TopN-RDD代码实现-3-各个学科老师TopN-RDD-优化 代码实现-4-各个学科老师TopN-SparkSQL 数据 teache.log每一行数据表示该学科的该老师被学生点
rabbitmq 1.RabbitMQ的消息应当尽可能的小，并且只用来处理实时且要高可靠性的消息。2.消费者和生产者的能力尽量对等，否则消息堆积会严重影响RabbitMQ的性能。3.集群部署，使用热备，保证消息的可靠性。 kafka 1.应当有一个非常好的运维监控系统，不单单要监控Kafka
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的
read读取控制台输入 1．基本语法 read(选项)(参数) 选项： -p：指定读取值时的提示符； -t：指定读取值时等待的时间（秒）。 参数 变量：指定读取值的变量名 2．案例实操 （1）提示7秒内，读取控制台输入的名称 [root@Bigdata shell]$ touch read.sh [root@Bigdata shell]$ vim read.sh #!/bin/bash
1、集群安装与配置以centos为例，首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。安装成功后，然后分别修改主机名（hp002、hp003、hp004同hp001）。vim /etc/sysconfig/network # 编辑network文件修改hostname hp001cat /etc/sysconfig/network c
