标签：ELK SQL -- MySQL 全文索引 tab sql select

      前言：

       该文章将会介绍以下：

          1，MySQL全文索引的使用

          2，全文索引STOPWORD

          3，使用全文索引的高效和准确

      最近事情比较少，刚好可以梳理一下以前的工作，做一下总结！

      在以前的解决方案中有介绍百万级如何使用MySQL全文索引方法，在没使用ELK前，线上13个实例的SQL日志都是手工导入的MySQL的innodb表中，

 建立全文索引来分析的。

      分析的SQL如下：   布尔文本搜索（IN BOOLEAN MODE ）：条件要全满足

SELECT count(*) 调用次数,user 账号,'crm1' 实例,'tab' 表名,'select' 操作,`sql` 样例SQL FROM cc WHERE 
MATCH(`sql`) AGAINST('+tab +select' IN BOOLEAN MODE) group by user

   因为13个实例数据量超过4亿，将这13个日志分成多个表,  如果表行数特别大会报错，需要调整参数innodb_ft_cache_size到最大值。

   同时查询出的结果会有少量的错误：

     这里的操作是select语句，但实际是insert，因为insert语句里包含有：select这个关键字，也被统计到。但如果如下查询有：     

MATCH(`sql`) AGAINST('+tab +select -from -for' IN BOOLEAN MODE) 

     这里的： -from -for  是无法生效的，因为from和for属于全文索引STOPWORD：   

SELECT * FROM information_schema.INNODB_FT_DEFAULT_STOPWORD;

   

    如何解决这些少量的错误，想了一下，保持前缀的方式来判断，以前缀的操作为主：   

SELECT count(*) 调用次数,user 账号,'crm1' 实例,'tab' 表名,'select' 操作,`sql` 样例SQL FROM cc WHERE 
MATCH(`sql`) AGAINST('+tab +select' IN BOOLEAN MODE) and `sql` like concat('select','%') group by user

   该SQL的确能准确排除掉干扰，但是执行效率太慢了，以前几个小时能分析完的，使用该方法需要几十小时，一旦报错，又要几十小时，无法保证能分析完成

    有没有其他办法，即能准确又高效？

     想了想，既然2个都只满足其中一部分，不如2者结合起来使用， 怎么结合：

       方案1直接分析不变，分析完结果后，对结果表：ea_tj 再进行分析：      

select * from ea_tj where sqltext not like concat(op,'%') 

   查出这些异常的结果，对这些少量异常结果再进行：`sql` like concat('select','%')  分析：

    这样就解决 ：准确和高效

     MySQL全文索引方法分析，比数据放到ELK再分析有巨大性能差距。

 

标签：ELK,SQL,--,MySQL,全文索引,tab,sql,select
来源： https://www.cnblogs.com/zping/p/15209048.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。