标签：数据分析 数据 职业 数据仓库 技术 业务 方向 规划
本人在大数据领域工作多年，工作经历主要涉及数据仓库、大数据平台研发，目前在互联网行业前Top2大厂任职，对大数据领域有相对丰富的认知和理解，做一些行业入门分享和职业规划给初入行者或者正在迷茫期的同行。
大数据是什么
随着21世纪互联网的普及和发展，现在已成为社会不可或缺的组成部分，随之而来的是互联网企业数据量的高速增长，而海量数据中往往蕴含着巨大的商业价值，如何用数据驱动业务增长也成为近年来的热门话题，大数据技术在这样的背景下高速发展并深受瞩目。
那大数据具体是什么呢？各种学术性解释版本就不说了，简单一句话来说就是海量数据的存储、计算、管理和价值挖掘，并最终为企业乃至社会创造价值。
大数据具体都做什么
首先是数据采集，从服务端、客户端采集原始数据，通过数据清洗转化加工放入数据仓库中存储；海量数据进来如何进行管理，那就需要在数据仓库中利用各种方法论来进行数据管理和治理；数据有序管理和加工后，再一步就是如何为业务输出价值了，通常会有数据分析师、BI等角色来对数据进行分析计算，然后为业务方提供数据支持或者业务建议。
那数仓中的数据如何存储和加工、又如何做数据分析计算呢？这就又用到大数据的基础技术：分布式存储和分布式计算，这些技术已经有比较成熟的开源技术如hadoop等，但要应用这些技术还需要去搭建和维护大数据集群。为了让大家更简单高效的使用众多大数据底层技术，同时更好的支持数据日常管理和数据分析，就需要开发相应的大数据平台来支持相关研发和分析师进行日常工作了。另外，也有部分业务场景如鉴黄、垃圾信息识别等需要利用数据挖掘手段来进行处理。
大数据领域有哪些职业
1、数据工程方向
- 大数据平台研发
该职位在数据工程方向最为常见，主要职责是开发数据平台，如报表平台、数据管理工具、任务调度平台等。对编程能力要求较高，同时要熟练掌握Hadoop、Hive、Flink等大数据技术栈，该职位市场需求量较大。
- 大数据集群运维
当集群规模达到几百台甚至上千台服务器时，一般需要专门的集群运维工程师，主要职责包括集群状态监控、故障处理、集群稳定性优化等。
- 大数据底层技术研发
该职位市场需求量较少，但技术能力要求较高。由于Hadoop等开源技术已比较成熟且研发门槛高，绝大部分公司不需要自研底层分布式存储、计算、资源调度等服务，少数大公司会在开源技术基础上进行优化改造以适应自身需求。但在阿里巴巴，借鉴业界开源技术自研了分布式存储计算调度等服务，为阿里大数据中台提供基础底层技术支持，无论性能还是稳定性均优于业界开源技术，这些数据服务封装后也对阿里云客户进行售卖，使得中小企业可以快速具备大数据分析应用能力。
2、数据仓库方向
- 数据仓库开发
通过一些列数仓建设方法论和建模知识搭建面向分析的数据仓库。日常工作更多是面向需求开发中间层和应用层数据模型，SQL是高频使用的工具，对编程能力要求不高，对业务需要多一些理解。这个职位需求相对较多，在中小数据团队通常会兼顾下方ETL、数据治理相关工作。
- ETL工程师
ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL工程师日常工作就是从多数据来源抽取数据，清洗转换之后加载到数据仓库，将分散、凌乱、标准不统一的数据规范化整合到一起。
- 数据治理
一般数据仓库通常会存在不少问题，如烟囱式开发、模型不规范、跨层依赖、口径不统一等等问题，数据治理主要工作内容就是保障数据仓库的数据质量，优化数仓开发规范和流程、保障数据准确、口径统一，使数仓更更好更高效的支持业务分析需求。
3、数据分析方向
- 数据分析师
首先需要掌握基础的数据分析工具，如excel、sql等，然后需要具备一些数据分析相关的统计学知识和数据分析方法论，对业务需要有较为深入的了解。日常工作主要是帮助业务方提取并分析数据，并提供业务上的建议。该职位需求量较大，已成为数据团队的标配角色之一。
- BI工程师
BI全称：Business Intelligence，即商业智能。BI工程师日常工作主要是针对不同业务团队的数据需求进行可视化报表开发，设计匹配业务需求的数据集市和应用层宽表等，需要具备一定的数据分析能力，同时对业务也要有比较深入了解。
- 数据挖掘
主要是通过机器学习、深度学习等数据挖掘技术手段，研究和落地基于业务场景的算法和模型，来挖掘数据潜藏的价值，利用数据赋能业务。门槛相对较高，该职位也可归类于人工智能大方向中。
自己该选择哪个职位
通常一个普通的数据团队标配是大数据平台研发、数据仓库开发、数据分析师三种角色，所以这三种角色也是互联网公司数据方向需求量最高的职业。
首先，大数据平台研发，对编程能力要求较高，跟普通技术研发有点类似。所以如果对编程比较感兴趣，可以选择该方向。
如果自己对编程不太擅长，那可以考虑数据仓库方向。数据仓库开发对sql能力和数仓建模能力要求较高，比较重数仓相关理论和建模方法，对编程能力要求不高，门槛和上手难度相对较低一些。
如果对编程实在不感兴趣，数据分析师也是个不错的选择，入行门槛不高，但薪资也相对其他大数据方向较少，如果想拿到互联网大厂的高薪数据分析工作，名校或优秀的工作经历背景是个重要加分项，同时也需要对数据分析相关统计学知识和数据分析方法论有比较深入的理解和沉淀，业务sense也是重点考察项。
各职位的成长和发展路线
- 数据平台研发方向
首先是技术基础，熟练掌握计算机基础知识和Java等编程语言开发能力，其次要对大数据技术栈Hadoop等有比较深入的理解和应用能力。 在技术能力积累到一定程度后，在团队细分方向中深耕，创造高产出和价值，成长为细分方向负责人角色，后期通过增强技术影响力、项目管理、团队管理等软实力技能走向更高的管理层职位。对大多数人职业发展中后期还是建议走管理路线，或者说朝这个方向去努力，因为即使技术持续深耕成为高级技术专家一般也是要带技术团队的，毕竟一辈子在一线写代码在中年危机盛行的互联网行业并不是很实际的事情。
数据仓库方向
首先要具备一定的计算机基础知识，同时要精通sql，不断学习数仓建设方法论，然后通过项目实战不断的加强对各种理论知识（如数仓搭建、建模方法、数据治理等）理解程度，逐步的成为数据仓库建设和开发领域的资深工程师甚至技术专家。
- 数据分析方向
虽然数据分析门槛不算高，初期掌握数据分析的基础工具可能就能开始工作，但如果想获得更好地发展，除了不断学习积累各种分析理论和统计学方法，还要不断沉淀自己的数据分析方法论，在数据分析专业能力素养足够强之后，最终走多远的关键就取决于对业务的理解和推动能力，一个数据分析专家通常也是业务专家。
最后
大数据早已从炒的很火的概念落地成企业不可或缺的数据能力，数据时代正在来临，大数据未来一片光明。但不可否认，行业竞争也在不断加剧，日后公司间竞争、数据人之间的竞争都会愈来愈激烈，我们要努力保持自己始终处在成长和进步的轨道上，创造更持久的市场竞争力。
标签：数据分析,数据,职业,数据仓库,技术,业务,方向,规划 来源： https://blog.csdn.net/qq_35488412/article/details/121871675
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。