一、数据埋点规范
1、数据传输与协议
标准JSON格式，经过：https(aes加密+gzip压缩)处理，上报到服务端。
2、埋点规范与约束
1）采用事件模型，一切都是事件。所有的数据都以事件形式上报，形成“基础信息 + 事件信息”这种数据模型，包括：SDK自采集、用户行为、App自动行为、APM、Debug等数据，都统一以事件形式上报；
2）properties的属性key尽量复用。比如：商品id，都统一使用item_id，而不是有item_id、id、product_id等不同key都表示商品id；
3）确定事件所属类别，谨慎新增事件类别。
4）字段命名格式统一以：小写、数字、下划线连接。比如：app_name（反面：appName或者AppName）
5）严格遵守value可选值。比如：channel可选值有appstore，但是不允许埋成app store等；
3、上报策略
加入app进入后台时上报，上报阈值可控制（上传时间间隔30s，单次上传最大条数15条）
二、数据层次规范
数据仓库总共分为四层：ODS、DWD、DWS、ADS，对应各层的缩写分别：
ODS：Operation Data Store
是数据仓库第一层数据，直接从原始数据过来的
DWD：Data Warehouse Detail
存放数据仓库明细层的数据
DWS: Data Warehouse Summary
存放公共汇总层的数据
ADS: Application Data Summary
存放应用层的数据，直接提供给业务人员或报表使用
三、命名规范
1、根据业务过程，抽象基本的业务术语单元
2、对应的术语单元做语义翻译，可以采用拼音、英文、含义数字，但避免英文，拼音混用
3、拼音、英文尽量在不失原意的情况下采用缩写形式，采用
a、行业常用术语
b、采用英文重点发音字母
c、避免数字开头
4、库命名规范
a、ods层使用目前现有的命名，即跟业务方保持一致，便于跟踪查找，例如:lucky_admin 或 hbase
b、维表统一放置 dw_dim 库下
c、主题域相关的表，则放置 dw_数据域库下
5、表命名规范
能够合理的区分出表说描述的数据域、数据周期等
维表命名：dim_修饰/描述_范围/周期
事实表命名规范：fact_层次_数据域_修饰词/描述_范围/周期
周期/数据范围
日快照：d
增量：i
周：w
拉链表：l
非分区全量表：a
ODS层大表进行分区
DWD/DWS表必须进行分区
标签：Data,数据仓库,规范,建设,命名,数据,id 来源： https://www.cnblogs.com/yewu123/p/11286746.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。