标签：bin 框架 流程 redis hadoop sh usr hbase 梳理

大数据技术栈

  存储  HDFS  Hbase
  资源管理和协调 YARN Zookeeper
  计算： Hive  Spark  Flink
   其他： ES redis 

框架系统构成

  配置
  执行目录
  文件构成
  日志系统
  服务
 01.配置
    hadoop/etc/hadoop/hdfs-site.xml
    hbase/conf/hbase-site.xml
    /etc/redis/redis.conf
 02.日志
    hadoop/logs/hadoop-evs-namenode-evs-xps.log
 03.启动
    hadoop/sbin/start-all.sh
    hadoop/sbin/stop-all.sh
    hbase/bin/start-hbase.sh
        hbase/bin/start-hbase.sh
        hbase/bin/hbase-daemon.sh start regionserver
 04.运行
     hadoop/bin/hdfs
     /usr/bin/redis-server
 05.服务
  jps
    HDFS： NameNode  SecondaryNameNode  datanode
    YARN： ResourceManager
    Hbase： HMaster  HRegionServer HQuorumPeer  
  服务：
     systemctl status redis

具体

 构成组件
 基本功能
 启动流程-执行流程-启动的服务
 文件系统

大数据详情

  配置和命令

1.Hadoop

 hadoop fs -du -s -h /test
  hadoop fs -ls   /test
  -s, --summarize       display only a total for each argument
  -h, --human-readable
  -d, --max-depth=N 
 'hadoop-env.sh' 中 JAVA_HOME= 的配置
    ls  /usr/lib/jvm
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre

标签：bin,框架,流程,redis,hadoop,sh,usr,hbase,梳理
来源： https://www.cnblogs.com/ytwang/p/15329058.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。