目前架构：
TIDB+fineBI (很好的平衡了OLTP和OLAP的数据处理需求）
1.TiDB属于对于实时数据分析的支持做的特别好，支持水平扩展与高可用，内部集成spark作为计算引擎，
2. fineBI可以拖拖拽拽就可以快速实现数据的组合和导出，丰富的报表展现形式，细致的权限控制，
建议：fineBI只作为一个展示平台，不在fineBI平台上配置比较复杂的sql逻辑，80%原始数据都在TiDB计算好后同步到fineBI
建议架构：
数据源：业务数据+日志+文档 ，通过sqoop或者别的同步工具同步到数据仓库
数据仓库：hadoop+hive（分层），离线（T+1）通过shell+hive sql或者python+hive sql来处理
实时数据：kafka+flink处理，结果同步到redis或者mysql
数据中台/开发中台
中台这个最早由阿里在2015年提出的“大中台，小前台”战略中延伸出来的概念，灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工，却接连推出爆款游戏，是全球最会赚钱的明星游戏公司。
Supercell面向全球市场推出了《部落冲突》《卡通农场》《海岛奇兵》《皇室战争》和《荒野乱斗》五款游戏，国内的中台策略做的比较好的公司是字节跳动
数据中台解决的问题可以总结为如下：
-
效率问题：为什么应用开发增加一个报表，就要7,8天时间？为什么不能实时获得用户反馈数据？当业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响上线时间。产品同学提出了一个新的功能，技术同学实现后，产品同学如何快速查看新上线的功能的使用情况，比如有多少人使用，每天的点击率是多少，功能平均响应时间是多长........
-
协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍，即重复造轮子。最终要做到对数据能够通过表的名字就知道表里边存的是什么类型的数据
标签：同步,数据仓库,hive,fineBI,sql,数据 来源： https://www.cnblogs.com/andy0816/p/15750114.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。