ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

2021-09-26 11:00:50  阅读:176  来源: 互联网

标签:配置 58 平台 多维分析 用户 Kafka job interview 飞流


先概括一下飞流有四个特点。
第一,释放用户,减少用户开发成本,所以说这个系统是不需要用户编程,只需要登录个网页,点点配置一下,然后等下,数据就出来了。这是很重要的一个点,也是我们想做这个系统的动机。
第二,提供了丰富的分析和统计功能,求和、取平均、最大最小,计数唯一计数,PV/UV的统计非常简单。
第三,提供了强大多维分析能力,针对上面需求可以下到具体的城市或者具体业务来看它的统计指标。
第四,飞流这个平台是基于Kafka、Storm、Hbase。具备很好的可靠性、可扩展性、以及性能
第五,数据接入极其简单,对于日志类数据仅需配置即可接入。
应用来说目前只有两个,一个是监控,很明显,这个系统面向大量的监控,主站三端,全在上面,包括服务三端质量,请求时延是怎么样的,通过飞流承载。另外对服务调用量的监控等等。
大部分的数据已经实时化了,所以业务的统计需求的数据很可能已经在Kafka系统里,简单在飞流上配置一下,他们的需求就可以满足了。最重要它还具备多维分析能力,它是一个多维分析的平台,刚才举的例子,地区、业务线或者来源,当然业务线我那块还没有配置,可以任选维度看一下这个指标情况,所以说可以做精细化的运维,发现一些潜在问题。
整体来说,这是我们飞流设计,非常简单,也比较有效果。
未来会支持以下的效果,刚才看界面还是比较单一,前期没有在界面上做改进,后续会支持Dashboard,展示多样化。饼图、热力图、柱状图,多种周期形式的曲线。
扩展度量类型。另外让目前飞流的用户配置任务还是稍微复杂一点,有些用户希望写一些SQL,我们把SQL用到我们平台上。
最后,我们是站在业务角度来看平台发展,飞流就是一个很典型的平台,还包括我们内部系统云窗平台,也在做这个工作。此外,我们这边还有更多平台,Spark、Yarn、Kylin、Kafka、flume等等。

标签:配置,58,平台,多维分析,用户,Kafka,job,interview,飞流
来源: https://blog.csdn.net/blog_programb/article/details/120374428

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有