标签：总结 数据仓库 博客 面试 sql spark 数据 清洗
hs面试总结：
1 服务器传输命令
scp：远程文件拷贝程序，是secure copy program的的缩写 -r (递归)
2. 查看服务器运行情况以及cpu，运用哪个命令
top:查看服务器各个进程情况
df -h:linux查看系统内存(硬盘)
3.搭建hadoop生态圈，hadoop的搭建，以及cdh的维护 搭建.hadoop环境集群是个什么样的配比（资源，内存，cpu），以及搭建的台数
服务器配置：内存:128，40线程，20核，8T机械，2T固态
服务器台数：20多台
总的资源：2T内存，400核。
3. 项目中对spark的使用情况
spark 代码：适用于表关联较少，但是处理逻辑相对复杂的的情况. 而且spark相对于hive来讲，速度更快
在项目中，使用spark对ods层的数据进行清洗，统一字段，对敏感数据加密。然后将数据保存到dwd层,主要用了两种方式 spark dsl 和 spark sql。
4.聊下对etl的理解
ETL的全称是抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）而ETL要做的事情，就是按照数据仓库的规则和要求，对各个源系统的数据进行加工和整合，并且将各个源系统的数据存储到数据仓库中。
- 抽取和清洗
这一环节的主要工作是获取源系统的数据，并按照数据仓库的规则，进行数据加工，对不完整的数据、错误的数据、重复的数据进行处理，最终提取出我们想要的数据。
- 数据转换
一是数据不一致。具体包括数据类型不一致、数据格式不一致、编码不一致等。
二是数据粒度的转换。源系统和数据仓库对于业务的抽象粒度不一致
- 数据加载
一是作业加载方式：全量加载还是增加更新。
二是任务触发方式：时间触发还是事件触发。如果是时间触发的话，还需要确定任务的上下游关系和依赖触发关系。
三是调度工具：采用什么调度工具，才能满足上面的需求呢
5. 是否参与过数仓建模的调研
6 ..对于宽表，维度表的数据倾斜的处理
7..hive的row-key设计，设计原理是啥
对key进行分组排序，打乱等，分区的设计逻辑，防止数据的丢失，row-key会影响到存储情况，对rowkey设计的原理以及逻辑思维，想法
数据(结构化，非结构化)抽取——转化为结构化数据——对表有指定的id，关联主键——hive数仓分层(ods数据结构,dw数据结构)拼接到设计的数仓层，加上分区时间，加上指定的数据值
8 .在清洗重复数据，脏数据以及脱敏，sql是怎么定义的，定义的标准是什么，脱敏的规则是啥
9 .对sql调优的操作
标签：总结,数据仓库,博客,面试,sql,spark,数据,清洗 来源： https://www.cnblogs.com/atao-BigData/p/16610907.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。