每个为决策提供数据的组织都在重新思考其数据架构。与五年前相比，新技术加速改变组织竞争和服务客户的方式。现代数据驱动的组织不是事后对事件做出反应，而是预测业务需求和市场变化，并主动工作以优化结果。不创新或改造其数据架构的公司会失去客户、资金和市场，失去优势和竞争力。本文总结了现代数据架构的主要特征，并为正在开发新数据战略的组织提供参考。什么是数据架构与设计房屋或建筑物的传统架构师一样，数据架构师创建的数据环境蓝图与组织的短期和长期目标及其独特的文化和背景要求相一致。对于大多数人来说，将数据架构理解为组织用来管理数据的一组标准产品和工具。但远不止于此。数据架构定义了捕获、转换和向业务用户交付可用数据的流程。最重要的是，它确定了将使用该数据的人员及其独特需求。一个好的数据架构从右到左流动：从数据消费者到数据源——而不是相反。过去，组织构建了相对静态的 IT 驱动的数据架构。我们称它们为数据仓库。由于底层技术和设计模式，大多数数据仓库需要大量人员来构建和维护，投资回报率极低。大多数都是表面绚丽的企业数据转储，当然有些效果是很好的，为报告和分析提供了丰富的集成维度数据。现代数据架构仍然可以提供数据仓库——一个灵活、适应性强和敏捷的数据仓库。但正如一些人所说，数据仓库只是现代数据架构或现代分析生态系统的一个组成部分。新的数据环境是一个活生生的有机体，可以检测和响应变化，不断学习和适应，并为每个数据消费者提供受管理的、量身定制的访问能力。
数据架构不是数据平台。后者指的是完成采集、存储、转换和验证数据的引擎和工具。数据平台由处理数据的底层数据库引擎（例如，关系、Hadoop、OLAP）以及使 IT 和业务部门的数据工程师能够创建数据集以供业务使用的数据组装框架组成。“数据组装”是一个新术语，它取代了以 IT 为中心的内涵的术语“数据集成”。数据组装强化了现代数据架构是业务和 IT 之间协作的概念。
现代数据架构的特征：1个中心和10个强化：
1个中心：以数据消费者为中心现代数据架构不是专注于提取、摄取、转换和呈现信息所需的数据或技术，而是从业务用户及其需求开始并向后流动,以终为始。数据消费者可以是组织内部或外部的，他们的需求因角色、部门和时间而异。良好的数据架构不断发展，以满足新的和不断变化的客户信息需求。
10个需要强化的方面
1.适应性强在现代数据架构中，数据像水一样从源系统流向业务用户。该架构的目的是通过创建一系列满足各种业务需求的互连和双向数据管道来管理该流。管道是使用基础数据对象构建的——数据快照、数据增量、数据视图、参考数据、主数据和面向主题的平面表。数据对象作为构建块，不断重复使用、重新利用和补充，以确保高质量的相关数据稳定地流向业务。2.自动化强为了创建一个数据持续流动的适应性架构，设计人员必须使一切自动化。他们必须在数据被摄取时对其进行分析和标记，并将其映射到现有的数据集和属性，这也是元数据注入的过程，他是数据发现的一个关键功能。同样，它还必须检测源模式的变化并识别变化对下游对象和应用程序的影响。在实时环境中，它必须检测异常并通知适当的人并在操作仪表板中触发警报。3.智能化强理想的数据架构不仅仅是自动化的；它使用机器学习和人工智能来构建保持数据流动的数据对象、表、视图和模型。它使用智能而不是蛮力来识别数据类型、公共键和连接路径、识别和修复数据质量错误、映射表、识别关系、推荐相关数据集和分析等等。现代数据架构使用智能来学习、调整、提醒和推荐，使管理和使用环境的人更加高效和有效。改变“数据找人”而不是“人找数据”的模式。4.灵活性强现代数据架构需要足够灵活以支持多种业务需求。它需要支持多种类型的业务用户、加载操作和刷新率（例如批处理、小批量、流）、查询操作（例如创建、读取、更新、删除）、部署（例如本地、公共云、私有云、混合）、数据处理引擎（例如，关系、OLAP、MapReduce、SQL、图形、映射、规范化）和管道（例如，数据仓库、数据集市、OLAP 多维数据集、可视化发现、实时操作应用程序。）现代数据架构必须是所有人的一切。5.协作性强与 IT 部门构建一切的过去不同，现代数据架构将获取和转换数据的责任分摊到 IT 和业务之间。IT 部门仍然承担着从核心操作系统中提取数据和创建通用可重用构建块的工作。但从那里开始，由业务部门接管。业务部门的数据工程师和分析师使用数据准备和数据目录工具来创建由公司和本地数据组成的自定义数据集，并使用它们来创建和支持业务部门应用程序。这种协作使 IT 不必了解业务环境，而这从来不是它的强项。6．治理性强治理是自助服务的关键。现代数据架构为每种类型的用户定义了访问点，以满足他们的信息需求。业务用户主要包括：数据消费者、数据探索者、数据分析师和数据科学家。例如，数据科学家需要能够访问着陆区的原始数据，或者更好的是，构建一个专门沙箱，他们可以将原始数据与他们自己的数据混合在一起。7.简单性强最简单的架构就是最好的架构。鉴于当今数据架构中需求的多样性和组件的复杂性，这是一项艰巨的任务。要应用此规则，拥有小数据的组织可能更适合使用具有内置数据管理环境的 BI 工具，而不是大规模并行处理 (MPP) 设备或 Hadoop 系统。为了降低复杂性，组织应努力限制数据移动和数据重复，并倡导统一的数据库平台、数据组装框架和分析平台。8.扩展性强在大数据和可变工作负载的时代，组织需要一个可扩展的弹性架构，以适应不断变化的数据处理需求。许多公司现在涌向云平台（公共和私有），以可承受的价格获得按需可扩展性。弹性架构使管理员不必精确校准容量、在必要时限制使用以及不断地过度购买硬件。弹性还催生了许多类型的应用程序和用例，例如按需开发和测试环境、分析沙箱和原型设计环境。9.安全性强现代数据架构是一座自由堡垒——也就是说，它为授权用户提供随时访问数据的权限，同时阻止黑客和入侵者。它还符合隐私法规，包括数据安全法、个人信息保护法和适用于各地区的数据保护条例。它通过在摄取时加密数据、屏蔽个人身份信息 (PII) 以及跟踪数据目录中的所有数据元素（包括它们的沿袭、使用和审计跟踪）来实现这一点。生命周期管理确保每个数据对象都有一个所有者、一个位置和一个过时计划。10.弹性强任何数据架构都必须具有弹性，具有高可用性、灾难恢复和备份/恢复功能。在现代数据架构中尤其如此，该架构通常在云中的大型服务器上运行，而中断是司空见惯的。因此，需要提供内置冗余和故障转移以及良好的服务水平协议 (SLA)，并允许公司以低成本在地理分布的数据中心中设置镜像以进行灾难恢复。——–END——–
标签：10,架构,数据仓库,业务,现代,构建,强化,数据 来源： https://www.cnblogs.com/dashujufenxi/p/16112933.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。