标签：升级 存储 FusionInsight MRS 湖新 华为 数据
摘要：工行采用了华为云FusionInsight MRS大数据存算分离方案，实现了大数据平台与OBS对象存储服务的对接，将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下，实现了计算与存储独立按需扩容，轻松应对业务浪涌，提升资源整体利用率。
工商银行作为数字金融的领导者，践行“科技引领，创新赋能”的发展理念，持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作，引入了华为云FusionInsight智能数据湖，搭建了自主可靠的大数据平台，解决了大数据全场景生态化应用的存储、算力和算法挑战，支撑了工商银行企业级数据湖、数据仓库、集团信息库的建设，数据智能服务由事后快速演进到事前、事中的阶段。
【业务挑战】
传统大数据存储计算耦合，TCO高
工行之前使用传统大数据的三副本存储性价比低，往往10PB的存储空间，有效容量仅3PB；同时存在存储、计算等资源不均衡，往往存储利用率超过70%，但CPU利用率不足50%，扩容时需要计算、存储资源一起扩容，存在资源浪费现象。
湖仓数据割裂，产生数据孤岛，协同分析难
工行内部使用SAS等工具通过HiveQL访问数据湖数据性能差，平均响应时间5分钟~2小时，并发能力不足（<10并发）。湖仓数据割裂，关联分析需要通过繁杂的ETL任务，将数据加工后加载到OLAP集市，数据链路长，分析效率和开发效率都很低。
平台升级需中断，缺少平滑演进能力
工行大数据平台的Hadoop批量集群已超过1000节点，日均处理作业10万+，数据存储数十PB，承载了全行重点批量作业，其中包括反欺诈、精准营销等多个重要业务场景，服务连续性需求较高。而大数据技术迭代快，传统升级方式需断电、重启等操作，升级操作复杂，影响现网业务运行，且大集群升级耗时长，突发故障易中断升级动作。
【解决方案】华为云FusionInsight MRS云原生数据湖助力构筑金融大数据平台
工行采用了华为云FusionInsight MRS大数据存算分离方案，实现了大数据平台与OBS对象存储服务的对接，将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下，实现了计算与存储独立按需扩容，轻松应对业务浪涌，提升资源整体利用率。华为独有的Flex-EC技术将副本率降低至1:1.25，存储资源优化提升2.4倍。
工行大数据平台承载了总行和200+分支行的数据，为了解决数据分布散、协同难等问题，降低金融分析师的用数难度，工行采用了华为云FusionInsight MRS 的HetuEngine服务，通过HetuEngine引擎实现跨地市的协同计算，一个SQL连接就可以访问全部数据源，直接做碰撞分析，实现湖仓互联互通协同分析，避免不必要的ETL流程，减少数据搬迁
大数据技术快速发展，为满足业务变化发展需求，工行采用了华为云FusionInsight MRS 滚动升级方案，借助于Hadoop核心组件的高可用机制， MRS按照依赖层次，多层次并行，在不影响集群整体业务的情况下，一次升级/重启少量节点，依据组件和实例的依赖关系，自动编排升级批次。升级过程中，隔离故障节点，待升级完成后，再进行故障处理。循环滚动，直至集群所有节点升级到新版本。
【客户价值】
MRS存算分离方案，TCO降低60%
计算/存储解绑定，精准投资，灵活扩展，计算资源利用率提升30%+，存储资源利用率提升100%+，TCO降低60%。统一数据存储底座，多个计算集群共享同一份数据，降低业务规划、扩容、维护难度，提供百亿文件EB级扩展能力。
HetuEngine跨源跨源协同
使用华为云自研框架HetuEngine，大幅度降低计算资源浪费，仅原1/5的硬件资源即可支持45+并发，跨源跨源协同分析性能提升至秒级，兼容99% Hive语法，应用无缝迁移。
MRS滚动升级实现架构平滑演进，业务0中断
通过华为云FusionInsight滚动升级能力，实现大集群分批次滚动升级，业务0中断；故障节点隔离功能确保升级动作的稳定运行，实现7*24小时不间断服务；1000+精细化运维指标及可视化操作简化运维，实现一个架构持续演进。
未来为满足工行业务高速发展需求，工行金融数据湖规模将达3000+节点，满足工商银行批处理、流处理、交互式分析等大数据应用场景, 进一步提升数据洞察能力和基于场景的数据挖掘能力，充分释放大数据作为基础型战略资源的核心价值。
本文分享自华为云社区《华为云FusionInsight助力宇宙行打造金融数据湖新标杆》，原文作者：徐礼锋。
标签：升级,存储,FusionInsight,MRS,湖新,华为,数据 来源： https://blog.51cto.com/u_15214399/2825207
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。