标签：工程师 数据仓库 推荐 路线图 Youtube 完整 课程 2022 数据
如何成为一名数据工程师：完整的路线图
关于如何学习数据工程的完整路线图。
什么是数据工程？
数据工程是设计和构建用于大规模收集、存储和分析数据的系统的实践。组织可以收集大量数据，但为了确保数据在到达数据科学家和分析师时处于高度可用的状态，他们需要合适的人员和合适的技术，数据工程师在这里采取行动。这些是您在处理数据时可能执行的一些常见任务
- 获取符合业务需求的数据集
- 开发算法以将数据转换为有用的、可操作的信息
- 构建、测试和维护数据库管道架构
- 与管理层合作以了解公司目标
- 创建新的数据验证方法和数据分析工具
- 确保遵守数据治理和安全策略
必须学习的大量工具和主题不应让初学者感到负担过重。有各种学习阶段，因此作为新手，您应该只专注于掌握要领。随着时间和经验的积累，您会感到轻松自在，并准备好进入高级主题。
基础知识
- **数据库概念：
** 关系数据库、约束、键、触发器、规范化
课程推荐： 关系数据库设计 - **Python 编程
** 基本语法、处理文件、连接到数据库、构建基本 API、处理结构化（数据库和表）和非结构化（XML、JSON 等）数据。
课程推荐：
一个。 Youtube 上的 Python 课程
湾。 2022 年完成 Python 训练营，从零到 Python 中的英雄 - **SQL
** 基本数据提取、连接表、键、约束、窗口函数、聚合函数等。
课程推荐：
一个。 Youtube 上的 SQL 课程
湾。 完整的 SQL 训练营 2022：从零到英雄 - **数据仓库和数据建模
** 基本数据仓库概念、数据仓库数据建模、星雪花模式、事实和维度表等。
课程推荐：
一个。 Youtube 上的数据仓库课程
湾。 数据仓库——终极指南 - **云基础知识
** 云中的弹性、可扩展性、存储和计算、云中的数据堆栈。
课程推荐：
一个。 Youtube 上的云基础课程
湾。 终极 AWS 认证解决方案架构师助理 2022 - **Hadoop 生态系统和 Spark
** Hadoop、MapReduce、为什么要引入 spark、Spark 基础知识。
课程推荐：
一个。 Youtube 上的 PySpark 课程
湾。 Youtube 上的 Hadoop 课程
C。 使用 Apache Spark 和 Python 驯服大数据——动手吧！
高级主题
- **工作流管理和调度程序
** 这是现代数据堆栈中非常重要的组件。在 AirFlow（最受欢迎和市场领导者）或其他任何东西（Luigi，Prefect）之间进行选择
课程推荐：
一个。 Youtube 上的气流课程
湾。 Apache Airflow 的完整实践介绍 - **数据流
** 数据流通过数以千计的数据源近乎实时地将数据连续发送到目的地
课程推荐：
一个。 Youtube 上的 Apache Kafka 课程
湾。 Apache Kafka 系列 — 为初学者学习 Apache Kafka v3 - **云数据仓库
** 红移、雪花、BigQuery
课程推荐：
一个。 Youtube 上的 AWS Redshift 课程
湾。 终极 AWS 认证解决方案架构师助理 SAA-C03
C。 雪花——完整的大师班（2022 年版） - **数据湖
** 课程推荐：
一个。 Youtube 上的 Azure 数据湖课程
湾。 Youtube 上的 AWS 数据湖课程
C。 在 AWS 和 Azure 上使用 Databricks 进行数据工程
好有
- **仪表板工具
** Power BI、Tableau 或 Looker
课程推荐：
一个。 Youtube 上的 Power BI 课程
湾。 适用于商业智能的 Microsoft Power BI Desktop
C。 Youtube 上的 Tableau 课程
d。 Tableau 2022 AZ：数据科学实践 Tableau 培训
e. Youtube 上的 Looker 课程
F。 Looker 和 LookML——初学者的完整课程 - **码头工人
** Docker 有助于避免与基础设施相关的复杂性。这有助于独立且轻松地设置数据环境。
课程推荐：
一个。 Youtube 上的 Docker 课程
湾。 Docker & Kubernetes：实用指南【2022版】
结论
对于我们作为数据工程师的日常工作来说，这些能力中的每一个可能都不是必需的。然而，根据功能，您可能经常需要其中的一项或多项。
掌握其中的大部分内容需要一些时间。每天都在学习新事物。复合学习将保证您随着时间的推移而提高。没有捷径可走，因此不要相信那些说您可以在几周或几个月内成为数据工程师的人。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
本文链接：https://www.qanswer.top/14412/34590501
标签：工程师,数据仓库,推荐,路线图,Youtube,完整,课程,2022,数据 来源： https://www.cnblogs.com/amboke/p/16656707.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。