切入点表达式 切入点表达式作用：知道对哪个类里面的哪个方法进行增强 语法结构： execution(<权限修饰符> <返回类型> <类全路径> <方法名称>(<参数列表>) ) 举例 1：对 com.atguigu.dao.BookDao 类里面的 add 进行增强 execution(* com.atguigu.dao.BookDao.add(..)) 举例 2：对 com
第19章 数据库备份与恢复 在任何数据库环境中，总会有 不确定的意外 情况发生，比如例外的停电、计算机系统中的各种软硬件故障、人为破坏、管理员误操作等是不可避免的，这些情况可能会导致 数据的丢失、服务器瘫痪 等严重的后果。存在多个服务器时，会出现主从服务器之间的数据同步问题
1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下 2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面 [atguigu@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3）修改apache-hive-3.1.2-bin.tar.gz的名称
GitHub 网址：https://github.com/ Ps:全球最大同性交友网站，技术宅男的天堂，新世界的大门，你还在等什么? 注:此三个账号为讲师使用账号，同学请自行注册，然后三个同学为一组进行团队协作！ 一、创建远程仓库 二、远程仓库操作 2.1 创建远程仓库别名 1、基本语法 git remote -v 查看当
SpringBoot 是一个在 JavaEE 开发中非常常用的组件。可以用于 Kafka 的生产者，也可以 用于 SpringBoot 的消费者。 1）在 IDEA 中安装 lombok 插件 在 Plugins 下搜索 lombok 然后在线安装即可，安装后注意重启 2）SpringBoot 环境准备 （1）创建一个 Spring Initializr 注意：有时候 SpringB
常用脚本 1.集群分发脚本xsync （1）需求：循环复制文件到所有节点的相同目录下 （2）需求分析 ①rsync命令原始拷贝： rsync -av /opt/module root@hadoop103:/opt/ ②期望脚本： xsync 要同步的文件名称 ③说明：在/home/用户名/bin这个目录下存放的脚本，用户可以在系统任何地方直接执行。 （3
目录 1.1 模板虚拟机环境准备1.2 克隆虚拟机 1.1 模板虚拟机环境准备 0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G 1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例） （1）使用yum安装需要虚拟机可以正常上网，yum安装
目录 1）在hadoop102的/home/atguigu/bin目录下创建脚本 2）增加脚本执行权限 3）Zookeeper集群启动 4）Zookeeper集群停止 5）Zookeeper集群查看状态 1）在hadoop102的/home/atguigu/bin目录下创建脚本 [atguigu@hadoop102 bin]$ vim zk.sh #!/bin/bash case $1 in "start"){ for i in
第一章 HA 概述 （1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。 （2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。 （3）NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，
<!DOCTYPE html> <html> <head> <meta charset="UTF-8" /> <title>数据绑定</title> <!-- 引入Vue --> <script type="text/javascript" src="../js/vue.js">&
<!DOCTYPE html> <html> <head> <meta charset="UTF-8" /> <title>el与data的两种写法</title> <!-- 引入Vue --> <script type="text/javascript" src="../js/vue.js&qu
<!DOCTYPE html> <html> <head> <meta charset="UTF-8" /> <title>模板语法</title> <!-- 引入Vue --> <script type="text/javascript" src="../js/vue.js"></script> &
第一章、Azkaban 概论 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell 脚本程序，Java 程序，MapReduce 程序、Hive 脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执
（1）切入点表达式作用：知道对哪个类里面的哪个方法进行增强 （ 2 ）语法结构： execution([ 权限修饰符 ] [ 返回类型 ] [ 类全路径 ] [ 方法名称 ]([ 参数列表 ]) ) 举例 1 ：对 com.atguigu.dao.BookDao 类里面的 add 进行增强 execution(* com.atguigu.dao.BookDao.add(..)
第一章 Hive 基本概念 1.1 什么是 Hive Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。 Hive
Linux常用命令 Linux目录结构简介 /bin 目录中存放着最常用的命令 /home 存放普通用户的目录，每个用户都有自己的一个目录，此目录名是以用户的账号命名的。并且要删除用户时需用userdel -r方可删除干净 /root 该目录为系统管理员目录 /etc 系统管理的配置文件和子目录 /usr 用
1 大数据概念 1.1 大数据概念 大数据（Big Data） ● 指无法在一定时间范围内用常规工具捕捉、管理、处理的数据集合。 ● 需要新处理模式才能具有鞥讫那个的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决 ● 海量数据的存储、分析计算问题。 1.2
1、Hadoop数据压缩 压缩算法原始文件大小压缩文件大小压缩速度解压速度自带切分改程序gzip8.3GB1.8GB17.5MB/s58MB/s是否否bzip28.3GB1.1GB2.4MB/s9.5MB/s是是否LZO8.3GB2.9GB49.3MB/s74.6MB/s否是是 输入压缩：（Hadoop使用文件扩展名判断是否支持某种编解码器，core-site.xml） org
大数据开发组件 HDFS [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh http://hadoop102:9870/explorer.html#/ Yarn [atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-yarn.sh [atguigu@hadoop103 h
集群方案的原理 单机多实例部署[root@atguigu ~]# systemctl start rabbitmq-server.service [root@atguigu ~]# systemctl status rabbitmq-server.service #停止rabbitmq服务 [root@atguigu ~]# systemctl stop rabbitmq-server.service #启动三个节点做集群演示： [root@atguig
1. 生产者工程 pom依赖<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa
一 环境准备 1. 准备机器 2. 修改静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建普通用户hadoop 添加hadoop用户
Hive安装地址 1）Hive官网地址 http://hive.apache.org/ 2）文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址 http://archive.apache.org/dist/hive/ 4）github地址 https://github.com/apache/hive Hive 安装部署 1.安装Mysql 2.安装Hi
xsync 集群分发脚本 （1）需求：循环复制文件到所有节点的相同目录下 （2）需求分析： （a）rsync 命令原始拷贝： rsync -av /opt/module atguigu@hadoop103:/opt/ （b）期望脚本： xsync 要同步的文件名称 （c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径） [atguigu@hadoop102 ~]$ ec
错误背景：自己当前用户是atguigu，目录是/home/atguigu，bin目录下有一个脚本文件，需要通过xsync分发到其他服务器上面。使用xsync bin/的时候出现xsync:command not found错误 解决步骤：通过echo $path查看当前path属性不包含当前atguigu用户的目录，切换到root用户下，修改/etc/profile
