ICode9

精准搜索请尝试: 精确搜索
  • 暑假第五周总结2022-07-30 18:02:00

      这一周的学习内容和上一周相差不大,继续学习hadoop,ssm,python。在之后的开发中这些都是需要用到的,SSM的学习有助于学习框架,对于之后的spring学习有很大的助力。hadoop的学习我使用的是3.2.3版本,对于直接操作数据有很大改观。python还在学习python基础,然后逐步过渡到python全栈。

  • Hadoop六2022-07-28 23:04:16

    今天完成的任务 完成了虚拟机的克隆     配置克隆虚拟机的ip地址和主机名称 配置Xshell     继续安装JDK,在102上安装JDK,然后将其拷贝

  • 阿里云云原生一体化数仓 — 湖仓一体新能力解读2022-07-28 18:02:11

    简介: 本文主要介绍如何通过湖仓一体,打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖,以及 Hologres、MySQL 等数据平台,并通过 DataWorks 做统一数据开发和治理。 分享人:阿里云智能 产品专家 孟硕   没来得及看直播的同学,可以观看直播回放。直播回放:https://developer.aliyun

  • hadoop细节配置2022-07-26 22:02:33

    hadoop虽然已经安装,但是对于一些细节的配置仍然不到位,会影响之后的使用 一、集群的启动   注:这里的hadoop102是我自己虚拟机的名称,启动时需要和自己的虚拟的名称相同  二、集群崩溃解决(etc bin目录没有被破坏)    注:启动集群之后,如果不小心删除数据,可以采用上述方法进行恢复,

  • Hadoop阶段学习总结2022-07-26 16:32:28

    第一部分:HDFS相关问题 一、描述一下HDFS的数据写入流程 ​ 首先由客户端想NameNode服务发起写数据请求,NameNode接收到请求后会进行基本验证,验证内容包括对请求上传的路径进行合法验证其次还要对请求的用户进行权限验证。验证没有问题后,NameNode会响应客户端允许上传。接下来客户

  • 7/242022-07-24 22:02:07

    经过种种调试,Hadoop可以用了。 package hadoop; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils; import java.io.FileInputStream;import java.io.InputStream;imp

  • 暑假总结2022-07-24 00:04:24

     在上一周,小学期结束,正式进入了暑假。同时,暑假的自学也正式开始,这一周学习了对hadoop的环境进行了基本的配置,能够正常上传文件;其次,学习大数据必不可少的就是python,python可以用于大数据的收集,hadoop用于数据的处理和分析;最后,自己的Java框架仍然有待提高,学习完javaweb之后,开始学习

  • Hadoop学习一2022-07-23 23:33:41

    今天开始学习Hadoop。 Hadoop主要应用于大数据。 概念:Hadoop是分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题。 Hadoop通常指Hadoop生态圈,通常指多门技术。    优势:高可靠性,高扩展性,高效性, 高容错性 Hadoop3.x的组成        学习方式:B站博主 https:/

  • 大数据Hadoop之——DorisDB介绍与环境部署(StarRocks)2022-07-23 23:02:06

    目录一、Apache Doris 和 DorisDB、StarRocks之间的关系二、StarRocks概述1)特征2)适用场景1、OLAP 多维分析2、实时数据仓库3、高并发查询4、统一分析三、StarRocks架构1)FE(Frontend)2)BE(Backend)四、数据管理五、StarRocks环境部署1)前期准备1、机器与角色信息2、关闭交换区swap3、修改

  • 第四周总结2022-07-23 22:03:22

        Hadoop是一个由Apache基金会所开发的分布式系统基础架构。       用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。       Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错

  • 通过hadoop + hive搭建离线式的分析系统之快速搭建一览2022-07-23 09:33:43

    通过hadoop + hive搭建离线式的分析系统之快速搭建一览     最近有个需求,需要整合所有店铺的数据做一个离线式分析系统,曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店铺经营 状况,我们知道这是一个以店铺为维度的切分,非常适合目前的在线业务,这回老板提

  • 大数据综合项目设计.考试复习题2022-07-22 17:32:02

    一、选择题 1. 对文件进行归档的命令为 D  。 A. dd B. cpio C. gzip D. tar 2. 改变文件所有者的命令为 C 。 A. chmod B. touch C. chown D. cat 3. 在给定文件中查找与设定条件相符字符串的命令为 A 。 A. grep B. gzip C. find D. sort 4. 建立一个新文件可以使用的命令为

  • ubuntu20安装Hadoop-2.8.0详细过程(第三步)| 分布式搭建hadoop2022-07-22 11:01:04

    一、配置免密登录 1.1Hadoop上进行操作 配置master免密登录到slave。 ssh-keygen -t rsa 过程中输入3次enter,直至如图; 然后,目录切换到/home/w/.ssh下,ls看下下属的文件: 继续输入,复制公钥文件: cat id_rsa.pub >> authorized_keys 修改authorized_keys文件的权限: chmod 600

  • 当集群中的空间不够时,增加结点动态扩容(服役新节点) (在不关机的情况下,增加一台datanode)2022-07-21 18:05:07

    克隆 克隆当前的虚拟机 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为192.168.200.225 重新启动网络服务使其生效 systemctl restart network 配置主机名的映射 vi /etc/hostname 将克隆的node1修改为new vi /etc/hosts 增

  • 借助maven项目开发HDFS2022-07-21 13:05:07

    pom.xml文件 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <!-- 引入Hadoop的编程依赖 hadoop-common hadoop-client 版本是统一的 都是2.8.5版本 而且必须要适配的 没必要每个依赖都去把2.8.5版本写一遍

  • hdfs连接、上传文件、下载文件的操作2022-07-21 08:00:30

    package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; // 是net包下的URI import java.net.URISyntaxException; /* 操作HDFS */

  • 初识Spark2022-07-20 21:34:28

    Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点:   运行速度快:Spark使用先进的DAG(Directed Acyclic Graph,有向无环图)执行引擎,以支持循环数据流与内

  • Hadoop集群常见脚本2022-07-18 12:31:45

    集群启动/停止方法 1.各个模块分开启动/停止(配置ssh是前提) (1)整体启动/停止HDFS start-dfs.sh/stop-dfs.sh (2)整体启动/停止YARN start-yarn.sh/stop-yarn.sh 2.各个服务组件逐一启动/停止 (1)分别启动/停止HDFS 组件   hdfs --daemon start/stop namenode/datanode/secondaryn

  • Hadoop完全分布式集群配置2022-07-17 20:12:24

    案例简介: 1、Linux系统为centos7 三台服务器名分别为 hadoop101,hadoop102,hadoop103 2、Hadoop版本为3.2.3 3、jdk版本为1.8 一、前置准备 1、配置网卡 vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改如下内容: BOOTPROTO=static ONBOOT=yes 在文件末尾添加如下

  • 大数据Hadoop之——EFAK安全认证实现(kafka+zookeeper)2022-07-16 08:34:55

    目录一、概述二、EFAK kafka鉴权配置(zookeeper无鉴权)1)kafka Kerberos 鉴权 配置1、启动zookeeper服务2、启动kafka服务3、配置EFAK4、把配置copy到几个节点5、启动EFAK服务6、测试验证2)kafka 账号密码鉴权 配置1、启动zookeeper服务2、启动kafka服务3、配置EFAK4、把配置copy到几

  • 解决Permission denied: user=root, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x问题2022-07-15 20:32:23

    DFS locations创建目录失败,错误描述: Permission denied: user=root, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 其实就是你的用户,对所操作的文件没有写的权限,创建目录需要拥有写权限,在测试的时候可以将所有文件的所有权限都开放,这样就不会出现这种错误了。 先在x

  • hadoop对hdfs上文件中的字符进行替换2022-07-15 19:33:08

    1、书写MapReduce 代码进行替换 2、通过shell脚本进行提换(比如sed进行替换) 参考: hadoop对文本中字符替换 替换HDFS中的control-m字符       

  • HDFS Shell 操作2022-07-14 19:35:09

    HDFS Shell 命令行格式 格式一:hadoop fs –命令名 参数 格式二:hdfs dfs –命令名 参数 HDFS 常用命令及参数 ls:查看 hdfs 中的目录信息 [root@node-01 ~]# hadoop fs -ls / put或copyFromLocal:将本地文件上传到 hdfs 中 [root@node-01 ~]# hadoop fs -put hdp.test01 / #或者 [

  • hadoop中如何mysql和linux的时间不正确该如何修正2022-07-11 11:10:30

    1.进入mysql,查询:select now();2.运行临时命令:SET time_zone = '+8:00';3.刷新配置:flush privileges;4.linux中修改配置文件 vi /etc/my.cnf [mysqld] default_time_zone = '+8:00'5.重启mysql服务:service mysqld restart6.退出mysql后,重新进入mysql查看时间是否正确 --------

  • b0118 数据库redis使用2022-07-10 12:33:37

    说明 环境   linux centos 7.9 当前最新  redis-7.0.2 安装 下载 从官网 https://redis.io/download/#redis-downloads  找到最新的稳定版 下载 上传到 linux环境 安装 关键过程参考  安装redis 最新版 redis-6.2.6    参考  3-7 步 不一样的地方: 使用普通用户 hadoop

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有