标签：存储 副本 zookeeper hadoop 介绍 数据 节点

背景介绍

  hadoop： 开源项目，是一个分布式文件系统，有中心节点。批处理系统，不能实时返回

     HDFS  +   mapreduce = hadoop     

　 Hbase ： hadoop的database

   HDFS ： 是有中心节点的， 组件：DN(datanode 数据节点)  NN（namenode 负责元数据存储节点）

   对于元数据节点，采用zookeeper来实现高可用，元数据存储在zookeeper上，因此每个NN节点都可以从zookeeper上获取元数据

   DN节点存储各数据，通过数据副本形式，实现数据的高可用， 默认会存储3个副本，所以任何一节点故障，都会造成副本数量减少，数据节点会不断的享元数据节点报告自己的状态和所持有的副本

    元数据节点会持有整体的数据块个数，数据库在个节点的分布等信息，如果有副本块的缺少，会补足数据库

对数据的处理：mapreduce

　　　jobtracker ： 任务分发， 请求程序的数据有它作为总控来处理　

  

 

 

 

 

 

搜索

复制

<iframe></iframe>

标签：存储,副本,zookeeper,hadoop,介绍,数据,节点
来源： https://www.cnblogs.com/huxl1/p/16460656.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。