成为大数据高手的活法-晚上复盘
浪院长 浪尖聊大数据
牢骚话
今天用公众号客户端手机写这篇文章，主要是发表一下牢骚吧，主要是发现很多人学习方法有问题，就是平时不学习，然后遇到问题又不知道如何下手，只知道截一行图，说一个现象，然后期待群友或者浪尖给出答案。
这里浪尖要说：
首先，能一眼给出答案的肯定可以百度解决了，无需去问。
其次，假如你已经尝试了很多而无果，那么肯定是你这搜索解决方案的问题不对，或者问题太表层了，底层很多原因都会引起该问题，而根据搜索结果尝试的方法不对。
还有很多人抛问题到群里，然后没人理他，他就在那爆粗口，卧槽，此处省略一万字。
别人没人愿意理你，肯定是你问的问题太大了，别人还要费很多口舌从你那问东问西去了解细节，这么浪费时间的事情，，，研发很忙的！
为啥你问不到点子？
对于问问题不知道贴细节的人，我觉得你不是搞大数据的。搞大数据的都要明白，必须要有足够的数据信息，才能找到问题的症结所在，那么你只说了一个表象，那怎么给你解决问题，你肯定是按照现象尝试了很多方法都不靠谱。
综上体现出来两个点：
1.你不明白底层原理。为啥有些人做了一年半载了还是问问题很弱智，连解决问题的本领都没有。就是平时只知道写代码，下班了躺尸，不学习，不去补充框架的底层理论，不去花精力研究源码，研究业务进行复盘操作。
这个跟炒股我觉得思路差不多，选一个好的技术点就是选一个好的股票，选一个好的股票那么你肯定要了解这个股票的公司的底细及发展前景，然后再决定是否投他何时加仓。
白天炒股，晚上复盘这个是必须的。
技术领域也是需要晚上复盘和追根溯源的。
大数据没有科班出身的吧，要么是工作需要，要么是从零转行，对于转行的你白天上班工作的事情忙的不行，晚上不去复盘，不去琢磨理论，不去阅读源码，如何成长？没成长，哪有资本去涨薪。
所以，白天遇到问题不能解决，晚上自然回去要复盘。不复盘，第二天还是盲目试错，这样玩股票也必赔，玩技术自然浪费了时间，而没成长。
其实，晚上回去吃理论，虽然花一两个小时很痛苦，但是最终收益肯定会很好。
2.反应应用相关性能的数据指标或者问题的相关日志，不去了解去哪收集，如何查看。
其实，对于大数据框架一般都会自带监控展示的web ui，比如spark streaming的ui，就很详细了，要学会利用起来。
比如Kafka lagsize突然加大，那么这个时候咋分析，首先想到流量是否陡增了，这个可以按照浪尖以前分享的代码写一个kafka流量监控，当然也可以看spark streaming的ui 近期批次消息条数是否徒增，没有的话就看从哪个批次开始变慢的，然后哪个job，然后哪个stage，然后哪个或者哪些task。然后就是task为何变慢，常见的比如gc，数据倾斜，task倾斜，这些都可以在web上进行分析的。
你要是分析到这，就可以针对问题再去百度或者群里问，那么就会事半功倍。
总结
大数据研究理论，玩转监控指标，做好这两点你才能做好一个稳定靠谱的系统。
这两个问题搞不通，解决问题就是瞎耗时间，瞎忙活。
再强调一遍，不给能给出这些细节数据指标就去提问，一般得不到想要的答案，即使有也是懵的，试错的。
标签：高手,晚上,活法,浪尖,问题,数据,复盘,不去 来源： https://blog.51cto.com/15127544/2661492
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。