浪尖聊聊大数据从业者的迷茫及解决方案
浪尖 浪尖聊大数据
最近不少粉丝找浪尖私聊，说做大数据久了比较迷茫，今天浪尖抽时间写篇文章聊聊做大数据迷茫了怎么办！
一 现状
目前的迷茫最主要原因是行业趋势所致，了解一下大数据行业的现状：
对于整个行业来说处于上升期的小平台期。
这么说的原因是需要大数据平台的公司都多多少少已经建立了平台或者已经上云，对这类初级学者需求减弱，更需要有能力做平台运维，运维开发，平台框架开发，数仓，建模，算法等相关人才。
大数据相关业务比如数仓，数据分析，bi等已初具模型，而且有成熟的云解决方案，保不齐小公司直接全部上云了，需要的是云平台使用者，和简单的数据搬运工。
对于大数据人才来说，五年以内偏多，三年以内人才扎堆儿，这些数据大数据行业的耕耘者，本身需要学习和摸索。
学习本身也是一个慢长的过程，况且大数据领域内容还是颇多的，所以综上所述，这个迷茫阶段也是能力分化，领域细分的阶段，所以自己要选好自己的方向，以深耕。
但大数据还大有可为，因为很多数据采集还在继续中，将来肯定是一个数字化的社会。所以说是大数据处于上升期的小平台期，主要是大数据技术领域逐步趋于稳定，以后更多的是业务，算法，超大规模数据处理能力，数据的应用及数据产品化的能力。
上面是行业及人才需要现状，对于个人来说迷茫的主要原因两点：
1.对现状不满
主要特点：
a.事情比较简单，甚至无事情做，对技术或者业务技能提升无助。
b.大事儿没有，屁事颇多，每天机械的忙。
2.对前途迷茫
主要特点：
a.公司业务需求技术简单，目前架构落后，且领导没有变更意愿，致使自己无法实战新的技术框架，没有技能提升，担心今后被淘汰。
b.当前公司超忙且是重复的工作，或者太具体化到一个点，然后能接受的公司有超少。由于忙又没时间学习，扩展新技能，所以觉得前途堪忧。
二 迷茫&突破
针对常见的大数据工作，聊聊如何突破：
1.平台运维及运维开发
想要提升，可以从以下几个方面：
a.日志告警中心
日志采集，包括各个框架的运行日志，定义日志格式，开发专业的实时规则引擎，实时告警系统，指标展示系统。
这个平台基本是全栈学习了，成长还是十足！
b.平台化
基础框架集成系统开发，针对性地框架二次开发，自动化部署，监控及故障自动处理系统开发。
这个模块牵涉到Java技术栈，框架如spark，kafka等源码阅读及二次开发，也是过硬的技术提升。
2.平台框架开发
主要是讲针对业务需求特别，现有框架不好满足需求，需要造轮子或者改造现有框架，以适应业务需求，比如最近浪尖开发的图数据库等。
这个要求对业务场景，查询需求，底层存储有深入的了解，然后针对现有框架进行大幅改造，也可以参考现有框架从零造出自己的轮子，以满足需求。
能做到这个层次我觉得很难迷茫了！
可以走平台管理路线，架构师路线，也可以轻松转业务及项目管理，运维及运维开发。
3.数仓建设
a.模型设计
数仓模型层次划分：
模型
主要业务梳理，数据指标确立，模型确立，建模方法学习及使用，指标系统建立等，当然文档编写在这个模块中占了很大比例。
由于手打，细节就不说了，大家可以关注浪尖，搜数仓，进一步学习。
这块感觉还是比较有意思，而且成长空间比较大，可以走项目管理路线。
b.数仓平台建设
其实，属于基础平台建设的一部分吧，主要分为离线和实时数仓。
主要工作平台化，集成化，针对需求的二次开发。由于目前云计算及flink等框架有提供数仓一站式解决方案的趋势，该领域需求未来可能也会减弱。
技术要求跟平台开发差不多，不过需求进一步了解业务，以设计具体的存储和计算框架，还是有技术壁垒。
c.ETL工程狮
嘎嘛？挺没意思的，主要是针对数仓的各个层或者业务需求，生产，搬运数据，数据量大了这活还有的玩，数据量小的话可能就是没意思了！
针对ETL应该可以做实时分发，实时ETL规则引擎，离线ETL处理引擎，逐步实现平台化，配置化。这样可以增加难度，减少开发部署成本，也可以提升自己的技术水平，为跃级做准备！
d.业务梳理及开发
俗称sqlboy，最容易迷茫，叫boy就说明问题了，不是说sql开发，能力就弱，而是说大数据领域sql开发，确实很少有太高难度，而且很容易形成模块化，比如各类报表系统。所以，成长性比较低。
sql boy可以往数仓模型设计，数仓平台设计方向发展。
4.数据分析&挖掘
大数据分析，机器学习，深度学习，nlp等对数学及建模要求很高，那么学习成本，实践成本都会很高。不做过多点评，因为浪尖也没做过！
5.公司的全栈工程师
一般是小公司的需求，一个人拿1.5-2个人的工资，干一个团队的活。全栈工程师有好处，就是技术面宽，但缺点也很明显，无法形成自己的技术特长和壁。
建议去下大公司洗礼下。
三 总结
公司小，业务简单，数据量小等都不利于大数据从业者。
这种情况，要自己学习，然后进阶跳槽！
做好学习计划，按部就班，步步为营，才不会迷茫。
标签：数仓,聊聊,框架,浪尖,平台,迷茫,从业者,数据 来源： https://blog.51cto.com/15127544/2659823
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。