ICode9

精准搜索请尝试: 精确搜索
  • Flume 简易实践理论2021-04-13 20:57:08

    解压     1.解压        tar zxvf /apache-flume版本所在路径 -C /解压后的位置            2.修改名字        mv /apache-flume版本号 flume            3.修改权限        chown -R hadoop:hadoop flume/        

  • 《个人开发流程》 --计应191第二小组闪迪2021-04-11 18:01:55

    《个人开发流程》 --第二小组闪迪 一、需求分析使用JAVA编程语言,随机生成“四则运算”练习题,并给出答案。 二、功能设计1.输入一个参数n,随机产生n道加减乘除运算(符号为+-*÷)2.每个参加运算的数字在0~100间3.每个运算的运算符个数为3~5个 三、设计实现写一个实体类,在其中写上所需

  • ***机器学习于数据分析学习笔记之常用函数操作***2021-04-10 17:33:05

    ***机器学习于数据分析学习笔记之常用函数操作*** ——.Merge函数(用于整合数据) 数据处理中可能经常要对提取的特征进行整合,例如后续实战中会拿到一份歌曲数据集,但是不同的文件存储的特征不同,有的文件包括歌曲名、播放量;有的包括歌曲名、歌手名。现在我们要做的就是把

  • 4.redis的事务以及乐观锁的实现2021-04-02 11:04:50

    数据库的事务具有原子性,一致性。但是redis的事务有些特殊,下面会说。 命令中事务的执行 127.0.0.1:6379> multi OK 127.0.0.1:6379> set k1 v1 QUEUED 127.0.0.1:6379> set k2 v2 QUEUED 127.0.0.1:6379> get k1 QUEUED 127.0.0.1:6379> exec  事务的取消 127.0.0.1:6379> mult

  • D. Dr. Evil Underscores(思维+贪心+字典树dfs)2021-04-01 20:06:30

    https://codeforces.com/problemset/problem/1285/D 思路: 异或的最大值,是字典树。由于X是任意的,并且不好构造。平时看到最大值最小是二分答案。现在我们需要用字典树来维护这个最大值。 假设最小值的答案是ans,那么对于第i位,如果n个数中第i位为0和1同时存在。Ans就一定要加2^i(

  • pyspark实时消费kafka(有状态转换)2021-04-01 18:03:29

    通过flume将日志数据读取到kafka中,然后再利用spark去消费kafka的数据, 1.保证zookeeper服务一直开启 2.配置flume文件,其配置信息如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = ta

  • spark 消费kafka的数据2021-04-01 15:34:42

    通过flume将日志数据读取到kafka中,然后再利用spark去消费kafka的数据, 1.保证zookeeper服务一直开启 2.配置flume文件,其配置信息如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail

  • flume实时读取文件到kafka2021-03-29 11:35:58

    背景:需要实时读取log日志文件中的记录到kafka 1.zookeeper服务需要开启,查看zookeeper的状态,(zookeeper的安装及启动过程可查看 https://www.cnblogs.com/cstark/p/14573395.html) [root@master kafka_2.11-0.11]# /opt/soft/zookeeper-3.4.13/bin/zkServer.sh status ZooKeeper JMX

  • 【数值分析】发电机方程的数值求解及MATLAB仿真2021-03-23 21:02:30

    1 发电机方程 有发电机的二阶微分方程如下: 其中δ为发电机转子角(rotor angle),ω为角速度(rotor angular speed),H为发电机惯性常数(inertia constant),D为发电机阻尼系数(damping constant)。 2 欧拉法 将微分方程离散化,在离散点处用差商代替导数。其中,根据不同的差商,欧拉法分为向前

  • 【Codeforces 1499 A】Educational Round #106 (Div. 2)2021-03-20 22:33:52

    A题 https://codeforces.com/contest/1499/problem/A 题意 有一个2*n的网格 网格第一行前k1个格子和第二行前k2个格子为白色,其余格子都是黑色 你有w块白色多米诺骨牌(大小2*1)和b块黑色多米诺骨牌(大小2*1) 如果两个网格都是白色并且没有被其他多米诺骨牌占用,那么可以放置一

  • redis02-string类型bitmap2021-03-18 14:33:11

    redis默认是16个库,0号-15号,通过-n指定   redis启动客户端(命令行形式): ->redis-cli(默认连接到6379) ->redis-cli -h(可以看帮助) ->redis-cli -p 6380(连接6380)     ->set k380:1 hello     ->get k380:1(返回hello)     ->select 8(选择8号库)     ->get k380:1(无数据)     ->e

  • redis03-list/set/sorted_set/hash2021-03-18 14:31:10

    自主学习: help @list   ->lpush k1 a b c d e f (list的push命令, 其中lpush的l是新来的左边放的意思,value可以是一个或者多个,所以是head->f->e->d->c->b->a) ->rpush k2 a b c d e f (head->a->b->...) ->lpop k1 ("f") ->lpop k1 (&q

  • 重磅:Flume1-7结合kafka讲解2021-03-17 14:52:35

    重磅:Flume1-7结合kafka讲解 浪尖 浪尖聊大数据 本文主要是将flume监控目录,文件,kafka Source,kafka sink,hdfs sink这几种生产中我们常用的flume+kafka+hadoop场景,希望帮助大家快速入生产。flume只有一个角色agent,agent里都有三部分构成:source、channel和sink。就相当于source接收

  • 重磅:Flume1-7结合kafka讲解2021-03-17 14:52:15

    重磅:Flume1-7结合kafka讲解 浪尖 浪尖聊大数据 本文主要是将flume监控目录,文件,kafka Source,kafka sink,hdfs sink这几种生产中我们常用的flume+kafka+hadoop场景,希望帮助大家快速入生产。flume只有一个角色agent,agent里都有三部分构成:source、channel和sink。就相当于source接收

  • PTA L2-021 点赞狂魔2021-03-14 12:36:18

    // ConsoleApplication62.cpp : This file contains the 'main' function. Program execution begins and ends there. // #pragma warning(disable:4996) #include <iostream> #include <algorithm> #include <set> #include <vector> cl

  • HaaS EDU K1设备资源 之 GPIO2021-03-09 12:02:17

    1、背景介绍 HaaS EDU K1是HaaS Education Kit1的缩写,是基于四核高性能MCU-HaaS1000芯片打造的、集颜值和内涵于一身的物联网教育开发板。 关于整体硬件介绍,有兴趣可参考HaaS EDU K1硬件介绍。 关于设备资源整体介绍,有兴趣可参考HaaS EDU K1设备资源总体介绍。   MCU-HaaS1000

  • 实时数据采集:整合Flume和Kafka2021-03-07 13:30:24

    目录 一、环境条件二、业务流程三、配置Flume四、启动Flume、Kafka与测试 一、环境条件 两台服务器:CAD01-ubuntu、CAD02-ubuntu 1)CAD01-ubuntu Flume(版本:1.8.0) Zookeeper(版本:3.4.10) Kafka(版本:2.4.0):其中kafka已经配置好且启动,并有hello_topic的主题 2)CAD02-ubuntu F

  • Redis2021-02-28 00:02:03

    目录 前言1. 概述1.1 互联网架构的演变历程 1.2 Redis入门介绍1.3 Redis/Memcache/MongoDB对比1.3.1 Redis和Memcache1.3.2 Redis和MongoDB 1.4 分布式数据库CAP原理1.4.1 CAP简介1.4.2 CAP理论1.4.3 CAP总结 2. 下载与安装2.1 下载2.2 安装2.3 安装后的操作2.3.1 后台运

  • java之学习记录 7 - 2 - redis 安装及简单应用2021-02-23 22:01:53

    1. 下载与安装 1.1 下载 redis : http://www.redis.net.cn/   图形工具: https://redisdesktop.com/download   1.2 安装 虽然可以在安装在 windows 操作系统,但是官方不推荐,所以我们一如既往的安装在 linux 上   1. 上传 tar.gz 包,并解压

  • 【CF868F】Yet Another Minimization Problem (决策单调性优化dp+分治)2021-02-23 17:01:42

    description 点击查看题目 solution code 设 d p i , j

  • Redis2021-02-21 23:30:33

    1.redis 单机(容量小,压力大)->主从复制(主节点读写,从节点只读)-> 哨兵sentinal(选举出新的主节点)->集群,多主多从,哈希环有16348个哈希槽,redis的key通过哈希一致性算法,和16348进行取模运算,根据得出的数值将数据存储到哪个主节点,每个节点负责一部分哈希槽。 redis是缓存数据库,存储

  • [CF118D] Caesar's Legions - dp2021-02-21 16:32:11

    [CF118D] Caesar's Legions - dp Description 有 n1 个步兵和 n2 个骑兵,禁止超过 k1 个步兵连续排列,超过 k2 个骑兵连续排列。求方案数。所有的步兵和骑兵都是相同的。 Solution 设 \(f[i][j][k][l]\) 表示排了 i 个步兵,j 个骑兵,与最后一个人相同的人已经连了 k 个,并且最后一个人

  • 如何使用flume采集日志到kafka中2021-02-16 23:30:25

    之前我们讲过怎么flume日志采集组件,使用非常简单,在这里我们只需要把flume的sink模块换成kafka的模块就可以了。我们去flume的官方网站中找到这段sink配置 我们进入flume官网后点击Documentation–》Flume User Guide 我们只需把这段sink代码写到原来的agent的文件当中即可

  • redis数据类型常用方法2021-02-16 10:04:00

    一、String set:添加String类型数据 get:获取String类型数据 del:删除数据 append:在原基础上追加数据,假如原来k1值是v1,执行append k1 ddd,那么值就变为v1ddd strlen:获取数据的长度,例如strlen k1,将获取k1的数据长度

  • leetcode (堆->simple)703,1046,前k大/小数2021-02-02 16:32:58

    703 第K大     class KthLargest { private PriorityQueue<Integer> heap ; private int k; public KthLargest(int k, int[] nums) { heap = new PriorityQueue<>(k,(k1,k2)->k1.compareTo(k2)); this.k = k; for (int i

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有