在大数据处理的各个环节当中,基于大数据平台进行数据查询是比较重要的操作之一,因为这涉及到用户提出数据查询需求,需要大数据平台实现快速的数据查询和结果展示。那么大数据查询平台有哪些?下面我们基于Hadoop数据查询组件来做一个简单的分析。
大数据处理涉及到的数据特征,数据量大、数据格式多样是典型的两个特征。其中针对数量大,在大数据查询任务时,就要求能够快速地完成数据查询操作;而针对结构化、半结构化、非结构化的数据,则要求大数据查询需要能够同时检索各个格式的数据。
基于Hadoop架构下,可以实现数据查询的平台组件包括——
1、Avro与Protobuf
Avro和Protobuf,都是序列化的数据系统,支持丰富的数据结构类型,还可以进行不同语言之间的数据格式交换,在大数据查询任务当中非常好用。
2、Phoenix
Phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎,支持动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射等多种操作。
3、Kylin
Kylin是开源的分布式分析引擎,基于Hadoop的超大型数据集,可以实现在亚秒内查询巨大的Hive表。
4、Zeppelin
Zeppelin,基于web,提供交互数据分析,之处多种语言,包括Scala、Python、SparkSQL、Hive、Markdown、Shell等。
5、ElasticSearch
ElasticSearch,是基于Lucene的搜索服务器,分布式搜索一你去,支持多用户全文搜索,在大数据云计算当中使用比较多,实时搜索、稳定、可靠、快速。
6、Solr
Solr基于Apache Lucene,是常用的企业搜索平台,具有高可靠、高扩展性的特点,很多知名企业,包括Instagram、Netflix、彭博社和Travelocity等都在使用它。
关于大数据查询平台有哪些,相信大家看完以上的介绍也就能够有基本的了解了。在大数据处理当中,涉及到具体的行业和业务,对于数据搜索查询的需求不一样,大数据开发人员在平台开发之初,就需要考虑到相关的因素。
标签:基于,平台,Hadoop,查询,搜索,数据 来源: https://blog.csdn.net/shuimuzh123/article/details/118733766
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。