ICode9

精准搜索请尝试: 精确搜索
  • Linux 下搭建 Hadoop 环境2022-12-04 21:08:46

    环境要求#操作系统:CentOS 7需要准备两个节点,一个是 master 节点,另一个是 slave 节点。其中 master 节点的 IP:192.168.100.130slave 节点的 IP:192.168.100.131并且参考Linux 下配置 hosts 并设置免密登录先配置好两个免密登录。JDK 版本:8u181Hadoop 版本:2.7.5如果使用的软件版本不一

  • Hadoop生态系统—数据仓库Hive的安装2022-12-04 21:03:01

    一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化,但信息本身相对稳定的数据集合,相比于传统型数据库,它主要用于支持企业或组织的决策分析处理。主要有以下3个特点: 数据仓库是面向主题的: 数据仓库中的数据是按照一定的主题域进行组织,大概意思就是说存的数据是一类数据 数

  • Win10搭建Hadoop环境2022-11-02 12:39:33

    Win10系统配置hadoop环境我这里就以hadoop-2.7.3为例子给大家演示,下载链接: 提取码:idxi ,如需下载其他版本,请访问或 ****进行下载JDK环境配置1、我使用的是jdk1.8.0_102版本,链接: 提取码:z8332、不建议安装在C:Program Files下的默认路径。安装完成后,对jdk环境进行配置。 (1)鼠标右键点击

  • 大数据开发离线计算框架知识点总结2022-10-24 14:19:55

    大数据离线计算框架介绍: 一、MapReduce计算框架 Hadoop是一个分布式系统架构,由Apache基金会所开发,其核心主要包括两个组件:HDFS和MapReduce,前者为海量存储提供了存储,而后者为海量的数据提供了计算。这里我们主要关注MapReduce。以下资料来源于Hadoop的官方说明文档和论文。 MapRe

  • Hadoop生态系统(数据仓库Hive的安装)2022-10-18 14:27:28

    一、数据仓库 数据仓库是一个面向主题的、集成的、随时间变化,但信息本身相对稳定的数据集合,相比于传统型数据库,它主要用于支持企业或组织的决策分析处理。主要有以下3个特点: 数据仓库是面向主题的: 数据仓库中的数据是按照一定的主题域进行组织,大概意思就是说存的数据是一类数据

  • 大数据入门(大数据是什么)2022-10-17 17:27:49

    简介: 大数据入门-大数据是什么 一、概念 百度百科这样写道 大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 其实大数据

  • 【初识大数据】如何进行大数据测试?需要具备什么能力?2022-09-15 19:32:15

    了解大数据框架组件 了解大数据框架组件 了解大数据框架组件 了解大数据框架组件 Hadoop(读:哈丢谱)---是一个能够对大量数据进行分布式处理的软件框架。(Hadoop中最核心涉及就是HDFS和MapReduce) Hadoop5大特性/优点: 高可靠性。 Hadoop按位存储和处理数据的能力值得人们信赖 。 高扩

  • zookeeper启动异常Error: JAVA_HOME is not set and java could not be found in PATH2022-09-14 19:31:48

    明明正常配置了JAVA_HOME,仍然报错: hadoop@hadoop-1:/data/apache-zookeeper-3.7.1-bin/bin$ sh zkServer.sh startzkServer.sh: 78: /data/apache-zookeeper-3.7.1-bin/bin/zkEnv.sh: [[: not found-p: not foundjava is /data/hadoop/jdk1.8.0_202/bin/javaError: JAVA_HOME is n

  • 大数据常用软件安装指南2022-09-13 15:01:13

    大数据常用软件安装指南 为方便大家查阅,本仓库所有软件的安装方式单独整理如下: 一、基础软件安装 Linux 环境下 JDK 安装 Linux 环境下 Python 安装 虚拟机静态 IP 及多 IP 配置 二、Hadoop Hadoop 单机环境搭建 Hadoop 集群环境搭建 基于 Zookeeper 搭建 Hadoop 高可用集群

  • 2-1-62022-09-13 15:00:24

    package task; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.

  • :2018 年长沙平均气温气象数据分析与可视化2022-09-13 14:34:17

    import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileSplit; import java.io.IOException; public

  • 2018 年长沙天气情况气象数据分析与可视化2022-09-13 14:34:09

    import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class Weather14Mapper extends Mapper<LongWritable, Text

  • HDFS分布式文件系统知识点梳理(一)2022-09-11 18:02:42

    HDFS分布式文件系统 一、HDFS简介 ​ HDFS是Hadoop Distribute File System,翻译成中文就是Hadoop 分布式文件系统,它是Hadoop的核心组成部分,是一个分布式存储服务。 ​ HDFS实现了横跨多台计算机进行文件管理的功能,这就为存储和处理超大规模的数据提供所需要的扩展能力。 ​ HDFS是

  • hive on spark 关于hive的配置2022-09-11 12:30:16

    1.   hive-site.xml    root@hadoop101 conf]# vi hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.C

  • Hadoop+Python测试wordcount2022-09-11 11:33:01

    1、将测试数据上传到HDFS目录下,这里放到根目录下:/test.txt 2、在master节点中某个目录下:创建mapper、reducer以及run.sh mapper.py import sys for line in sys.stdin: line = line.strip() words = line.split() for word in words: print "%s\t%s" % (wor

  • Ubuntu搭建全分布式Hadoop2022-09-09 22:02:34

    @目录配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群!!!start-dfs.sh启动dfsstart-yarn.sh启动yarn 采用三台节点

  • Ubuntu搭建全分布式Hadoop2022-09-09 22:01:16

    @目录配置ssh免密登录配置Java、hadoop环境配置hadoop文件配置hadoop-env.sh配置yarm-env.sh配置core-site.xml配置hdfs-site.xml配置yarm-site.xml配置mapred-site.xml配置workers文件将jdk、Hadoop传输到其他节点启动集群!!!start-dfs.sh启动dfsstart-yarn.sh启动yarn 采用三台节点

  • linux启动hadoop集群失败,不显示datanode2022-09-09 08:32:52

    问题Bug:jps启动后datanode没打开原因:多次格式化HDFS,即hdfs namenode -format ,导致namenode和datanode集群不一致解决:将data下的clusterID改成name下的clusterID(位置root家目录)1.name节点位置和current下的version 1 [root@huli name]# pwd 2 /tmp/hadoop-hadoop/dfs/name 3 [root

  • Ubuntu下安装伪分布式HADOOP遇到的一些问题2022-09-08 10:34:59

    跟着网上的教程一步步做下来,遇到了一些坑,ubuntu 20.04   hadoo 3.2.3 1. 首先是忘记切换用户,hadoop用户的 .bashrc里没有配置JAVA_HOME,导致后面乱忙活 2. 查询hadoop版本号的指令不是hadoop -version,而是在hadoop文件夹下 ./bin/hadoop version,虽然安装成功了,但一度以为配置错误

  • HDFS 伪分布式环境搭建2022-09-05 22:03:15

    HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle JDK 1.8 安装步骤 在CentOS 下安装 Oracle JDK 1.8 下载地址 将下载好的 JDK 的安装包 jdk-8u202-linux-x64.tar.gz 上传到

  • 大数据分析常用组件、框架、架构介绍(Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase)2022-09-01 00:04:49

    首先,数据传输组件: ①Kafka是用Scala编写的分布式消息处理平台。 ②Logstash是用JRuby编写的一种分布式日志收集框架。 ③Flume是用Java编写的分布式实时日志收集框架。 其次,数据存储组件: ④HDFS (Hadoop Distributed File System)用Java编写,是谷歌的GFS(Google File S ystem)的一

  • 猫眼电影网站电影_时长_数据分析与可视化2022-08-31 10:34:43

    import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class Movie11Mapper extends Mapper<LongWritable,Tex

  • hadoop配置的几个小问题2022-08-31 08:01:35

    1.ssh免密登陆配置也要给本机进行配置,否则后续会出现问题。 2.hadoop配置文件中需要看好value值的最后不能有空格。 在hdfs-site.xml中,登陆网址是否自己进行了配置。    我这里的linux1是自己的主机名,在hosts文件内已与IP地址进行绑定。  

  • 暑假学习6 hdfs shell命令2022-08-29 23:32:47

    命令行操作:cli Hadoop的命令shell : Hadoop fs -ls file:                   操作 本地的文件系统 hadoop fs -ls hdfs://node1:8020                   操作hdfs分布式文件系统 hadoop fs -ls                    直接根目录,加载环境变量中fs.defa

  • 暑假学习二 8.242022-08-25 00:00:26

    今日学习内容补充: 1.hadoop介绍: 狭义: 核心组件,Hadoop hdfs  分布存储 yarn   资源管理和任务调度框架 mapreduce  计算  (企业基本不再直接使用)   广义: 围绕Hadoop打造的大数据生态圈   Hadoop发行版本: 开源社区:http://hadoop.apache.org/ 商业版本:cloudera和hortonworks H

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有