标签：__ querys 取消 任务 失败 impala

环境信息：

问题现象：

CDH集群impala失败任务取消不掉。

问题原因：

在cm界面取消impala任务会发送post请求，而post响应请求返回结果一般都超过10s，这时如果刷新或者执行别的操作，会使请求失败。从而导致取消任务失败。

解决方法：

方法一：
按F12 查看post 是否结束
此方法，只能一个任务一个任务取消，而且响应请求较慢，比较浪费时间。

方法二：
使用脚本批量取消impala失败任务，脚本流程如下：

• 查询失败的impala任务
• 取消失败的impala任务

脚本内容如下：

#!/usr/bin/python27
# -*- coding:utf-8 -*-

import sys
import commands
import requests

cmip = "10.11.4.247"
#填写cm的用户名密码
cmuser = "username"
cmpasswd = "password"

# 查询失败任务
def get_faled_job():
  api = "http://%s:7180/api/v17/clusters/cluster/services/impala/impalaQueries?filter=(queryState=EXCEPTION)"%(cmip)
  s = requests.session()
  s.auth = (cmuser, cmpasswd)
  try:
    res = s.get(api)
    data = res.json()

    querys = data['queries']
  except Exception:
    pass
  return querys

# 取消失败任务
def cancel_faled_job(querys):
  for query in querys:
    print query['queryId']
    queryId = query['queryId']
    canelapi = "http://%s:7180/api/v17/clusters/cluster/services/impala/impalaQueries/%s/cancel"%(cmip,queryId)
    s = requests.session()
    s.auth = (cmuser, cmpasswd)
    try:
      canelres = s.post(canelapi)
      caneldata = canelres.json()
      print canelapi
   except Exception:
      pass


if __name__ == '__main__':
   querys = get_faled_job()
   cancel_faled_job(querys)

此时impala查询界面已经没有不能取消的任务了，问题解决！

标签：__,querys,取消,任务,失败,impala
来源： https://www.cnblogs.com/erlou96/p/14623176.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。