标签：hoc 金额 查询 OLTP OLAP 即席 固化 数据

对于目前来讲,对数据的处理主要集中在两个方面,一种是联机事务处理OLTP（on-line transaction processing），另一种是联机分析处理OLAP（On-Line Analytical Processing）。

OLTP：是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，典型的是银行ATM存取款,金融证券方面的实时更新等,这些操作都比较简单，主要是对数据库中的数据进行DML操作，操作主体一般是产品的用户，并且OLTP事务性非常高，一般都是高可用的在线系统,如上述的银行金融方面。

OLAP ：有的时候也叫DSS决策支持系统，也就类似等同我们说的数据仓库，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。通过分析DW中的数据来得出一些结论性的东西(比如报表),从各方面观察信息，也就是从不同的维度分析数据(站在维度的角度看待事实)，因此OLAP也称多维分析。

两者的对比如下图所示。

对于即席查询而言一般情况他一般是与OLAP做对比的,这里说明一下在数仓中我们一般都是对数据进行一个批处理(基本上对前一天数据处理)并且是有一个明确的分析指标的如下图所示

何为一个明确的分析指标,按照上述所说的从维度的角度看待实时(指的是度量值,这里为金额),我们可以是按照7个维度去度量金额，也即是下表所示的内容

对于数仓的这种分析我么一般都是有固定的套路,比如说select area，time from table group by area，time.
这种查询也成为固化查询(指对一些固化下来的取数、看数的需求，通过数据产品的形式提供给用户，从而提高数据分析和运营的效率，这类需求的SQL基本有固定的模式
)

可能上述的固化查询你搞的好好的,这时候老板突然来了一个需求但是范围并不属于是上述的那种有固定模式的SQL，我们把这类需求称为即席查询(Ad hoc queries)

即席查询: 是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成返回响应的结果，例如返回用户自定义的统计报表。

即席查询的特点： 即席查询与固化查询最大的不同是普通的固化查询是定制开发的（即查询语句是预先写好的，不会临时变化），而即席查询是由用户自定义查询条件的。

对于即席查询和OLAP可以参考下图的关系图

对于即席查询和固化查询的总结：

即席查询与固化查询从SQL语句上来说，并没有本质的差别。它们之间的差别在于，固化查询在系统设计和实施时是已知的，所有可以在系统实施时通过建立索引、分区等技术来优化这些查询，使这些查询的效率很高。而即席查询是用户在使用时临时生产的，无法人工预先优化这些查询，需要数据库内部实时自动优化，所以即席查询也是评估数据仓库的一个重要指标。在一个数据仓库系统中，即席查询使用的越多，对数据仓库的要求就越高，对数据模型的对称性的要求也越高。

最后为什么不用hive做即席查询?
即席查询目的很明确,就是要快,所提即所得,即提出来这个需求立马要看到结果,数仓传统的hive做即席查询那肯定是不行的,MR跑完数据估计天都黑了,所以也迫使新的框架要研发出来,这里例举出市面上常用的几款即席查询的框架: Druid,Kylin,Presto,Impala,Spark SQL,ES,CK等

这几款框架的对比详见https://blog.csdn.net/likino666/article/details/103165292

标签：hoc,金额,查询,OLTP,OLAP,即席,固化,数据
来源： https://blog.csdn.net/weixin_44080445/article/details/119171865

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。