一、什么是大数据
1.大数据的定义
大数据( Big Data), 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2.大数据的发展历程
3.大数据的主要特征
■体量大(Volume)
■类型多(Variety)
■有价值(Value)
■变化快(Velocity)
4.为什么会有大数据
■移动互联网带来数据爆炸式的增长
■数据作为资产其价值得到认可
■存储和计算能力的飞速发展
5.大数据的来源
媒体、网络日志、公共设施、单位组织、大型设备、工业领域、地理位置、基因图谱
二、大数据的价值
1.解决四种问题
■坐井观天:孤立存在,无法获得外部世界的信息,决策基于数据片段。
■一叶障目:被局部现象所迷惑,看不到事物的全局或者整体。
■盲人摸象:事物间的联系被忽视、弱化或割裂,没有全局或综合的视图。
■城门鱼殃:无法从多个角度看待问题,忽略了事物之间的关联性。
2.提升两种能力
■一叶知秋:通过个别细微的迹象,推测出整个形势的发展趋势和结果。即通过全局数据计算,分析内在规律,进而提高洞察世界的能力。
■运筹帷幄:大数据应用立足于决策,通过多维度数据的搜集、加工和分析,高效的帮助用户做出更为准确的商业决策。
三、如何使用大数据
1.如何存储
分布式存储
2.如何计算
■将问题简化成一个更简单的能处理的问题,比如十亿量级的数据查询,分布到一千台主机上成为百万级的查询。
■将大问题拆分成多个可以简单求解的小问题。
3.如何分析
■数据采集与处理
■数据质量与管理
■机器学习
■数据可视化
数据分析流程
四、大数据相关的流行技术
1.Hadoop生态圈
2.阿里云大数据体系
标签:ACA,存储,处理,决策,问题,概述,全局,数据 来源: https://www.cnblogs.com/nnadd/p/12972664.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。