SearchContextMissingException: No search context found for id [xx] 问题排查

2022-08-28 13:03:16 阅读：237 来源： 互联网

标签：search java SearchContextMissingException No elasticsearch org scroll ES

背景

需要将存放在ES系统中的IMEI信息，将全量的数据分批拉取结果集到另外的系统，处理流程大抵就是先调用ES的查询方法，Scroll查询每批次10000条数据，得到数据集合后，在转换成自己系统需要的信息，最后插入到数据库，然后再通过scrollId进行下一次的查询。

但是有的时候会报下面的问题，我观察后发现，都是在处理一些大数据量的时候查询条件时，因为要入库，可能耗时比较多一些，而期初我们的setScroll中的过期时间比较短导致的。

DEBUG!!default!![2022-08-28 20:11:06,432][DEBUG][action.search.type       ] [<Query Node Name>] [27419] Failed to execute fetch phase
org.elasticsearch.transport.RemoteTransportException: [<Data Node Name>][inet[/xx.x.x.xxx:9300]][search/phase/fetch/id]
Caused by: org.elasticsearch.search.SearchContextMissingException: No search context found for id [27419]
    at org.elasticsearch.search.SearchService.findContext(SearchService.java:481)
    at org.elasticsearch.search.SearchService.executeFetchPhase(SearchService.java:451)
    at org.elasticsearch.search.action.SearchServiceTransportAction$SearchFetchByIdTransportHandler.messageReceived(SearchServiceTransportAction.java:793)
    at org.elasticsearch.search.action.SearchServiceTransportAction$SearchFetchByIdTransportHandler.messageReceived(SearchServiceTransportAction.java:782)
    at org.elasticsearch.transport.netty.MessageChannelHandler$RequestHandler.run(MessageChannelHandler.java:275)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:724)

scroll分页流程

使用ES搜索，当请求返回单个“页面”的结果时，scroll API可用于从单个搜索请求中检索大量结果（甚至所有结果），其方式与在传统数据库中使用光标的方式大致相同。

Scroll滚动不是为了实时用户请求，而是为了处理大量数据，例如为了将ES集群中的数据同步到另外的系统中去。

这个Scroll是一个快照，ES内部在这个快照中会保存于此相关的上下文信息，快照是非实时的信息。

为了使用scroll，初始搜索请求应该在查询字符串中指定scroll参数，它告诉elasticsearch它应该保持“搜索上下文”活动多长时间（参见保持搜索上下文活动）

第二次请求的时候需要带上第一次返回回来的scrollId，后面的每次查询都需要带上这个scroll_id，不过这个有时效性，超过了一定时间Scroll的搜索上下文search context alive就失效了。

结果

跟进后发现这个报错来自游标查询。之所以会出现这个报错，是由于时间已经超过游标当时设置的时间，scroll超时后自动删除了，所以才会提示：“No search context found for id”。

解决办法也简单，要么增大游标的有效时间，要么缩短获取数据后的处理时间。

setScroll()里传入的时间，表示一次处理setSize()里的数据超时时间。即处理一个分页最长不超过的时间。从你获取结果，处理请求到下一次遍历结果时间在5分钟之内即可，下面的代码表示5分钟。

   /**
     * scroll有效时间
     */
    public final static TimeValue SCROLL_KEEP_ALIVE = TimeValue.timeValueMinutes(5);

    /**
     * 300s 超时
     */
    public final static TimeValue TIMEOUT_5_MINUTES = TimeValue.timeValueSeconds(300);	// 300s 超时

    SearchResponse response = client.prepareSearchScroll(scrollId).setScroll(SCROLL_KEEP_ALIVE).execute().actionGet(TIMEOUT_5_MINUTES);

本篇文章如有帮助到您，请给「翎野君」点个赞，感谢您的支持。

首发链接：https://www.cnblogs.com/lingyejun/p/16632561.html

标签：search,java,SearchContextMissingException,No,elasticsearch,org,scroll,ES
来源： https://www.cnblogs.com/lingyejun/p/16632561.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

SearchContextMissingException: No search context found for id [xx] 问题排查

背景

scroll分页流程

结果