标签：ods itcast -- sqoop hive day1 mysql

用sqoop脚本从mysql 导入到hive 建立ods层

#将mysql 中第一张表导入hive 中的ods层
/usr/bin/sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
--connect 'jdbc:mysql://106.75.33.59:3306/nev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true' \#mysql中的数据库名
--username itcast_edu_stu \
--password itcast_edu_stu \
--query "select * from web_chat_ems_2019_07 where 1=1 and \$CONDITIONS" \#mysql中的表名
--hcatalog-database itcast_ods \#hive中的数据库名
--hcatalog-table web_acc_info \#hive数据库中ods层的表名
-m 1
***注意 ods层建表语句 表的字段数和字段名 都要完全和mysql中相同 随便加个主键就会sqoop导入失败

虚拟机上安装rz
yum install -y lrzsz

然后将shell脚本拖入选最下面的
让后修改shell文件权限 并执行

chmod u+x sqoop_import.sh
sh sqoop_import.sh

标签：ods,itcast,--,sqoop,hive,day1,mysql
来源： https://www.cnblogs.com/q1231/p/16449152.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。