标签：视频 配置 白到 虚拟机 sqoop hive --- 哔哩 数据

写这篇文章的目的是总结自己学习大数据的经验，以为自己走了很多弯路，从迷茫到清晰，真的花费了很多时间，希望这篇文章能帮助到后面学习的人。

 

 

一、配置思路

安装linux虚拟机--->创建三台虚拟机--->配置Hadoop环境--->配置zookeeper--->配置HBase--->配置mysql--->配置hive--->配置sqoop

上面的过程只是简要的，中间还有一些小的配置过程，我没有写出，后面详细的配置过程中会提到。

 

 

二、详细配置过程

1.安装linux虚拟机--->创建三台虚拟机--->配置Hadoop环境--->配置zookeeper

 

 

查看b站视频【大数据开发入门】开课吧Hadoop从0到精通详解教程，2021年最新全套_哔哩哔哩_bilibili

跟着视频做到P16就可以了（windows的话从P6到P16）

视频里用到的资源可以添加评论区的公众号免费获取

 

2.配置HBase

查看b站视频尚硅谷HBase教程(hbase框架快速入门)_哔哩哔哩_bilibili

跟着视频做P7和P8就可以了

比较基础全面的HBase数据库增删改查常用命令操作 - 岁月如歌_九 - 博客园 (cnblogs.com)

 

3.配置mysql

 

 

查看b站视频2020年最新大数据教程|全程实操从零学习掌握HDP集群【黑马程序员】_哔哩哔哩_bilibili

跟着视频做P4就可以了

mysql-connecter下载 MySQL :: Download Connector/J

跟着视频做P8

 

4.配置hive

 

查看csdn(30条消息) Hadoop3系列——(四)Hive安装_qq_41622603的博客-CSDN博客

hive3.1.2下载 Apache Download Mirrors

 

5.配置sqoop

查看博客园Sqoop学习之路 （一） - 扎心了，老铁 - 博客园 (cnblogs.com)

 

 

三、配置过程可能遇到的问题

1.hbase shell命令进不去(30条消息) hbase shell命令进不去_lin443514407lin的专栏-CSDN博客

2.hive不嫩插入数据

报错是Permission denied

先退出hive；

在root里进入hadoop，命令是：su hadoop

然后再进入hive就可以插入了

3.为什么我不用Ambari配置

因为Ambari需要的运行内存太多了，我之前用Ambari配置过至少三次，不断调整内存，都失败了

所以电脑配置不够的（8g及以下的）还是老老实实按照这个方法配置吧

 

 

四、hive对数据进行操作

主要看后面几步(30条消息) 利用hive进行分析，将hive分析结果利用sqoop技术存储到mysql数据库中，可视化结果_ITwangxiaoxu的博客-CSDN博客

 

 

五、配置过程经验总结

在下载文件的时候csdn上都有，但是要钱，其实大可不必下载那样的，在一些教程下面都会有资源获取的途径

一些官网正式发布的文件只要搜下载XXX教程就可以知道怎么从官网下载了

标签：视频,配置,白到,虚拟机,sqoop,hive,---,哔哩,数据
来源： https://www.cnblogs.com/linmob/p/15363519.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。