标签：威胁 IP 解读 漏洞 2020 自动化 Bots 对抗
当今社会的科技发展和未来的发展创新都离不开自动化技术的支持。然而，一旦自动化技术为不法分子所用，造成的损失也是不可估量的。从网站应用***、用户信息泄露到业务交易欺诈，无处不在的自动化***考验着每个行业的安全水准。
日前，《2020 Bots自动化威胁报告》(下称“报告”)，对2019年Bots自动化威胁的主要类别、***来源、***态势、技术手段等进行了全面回溯与解读，并对2020年Bots自动化威胁发展趋势做出预测。
报告指出，Bots机器人***在逐年增加，全球网络流量中正常用户发起的请求已经不足一半。国内的Bots***形势则更为严峻，尤其在一些资源抢占类和信息公示类系统中，Bots发起的访问请求占比甚至超80%。同时，相对于传统安全***，企业普遍缺乏对于Bots***的认知和防护，这进一步加剧了Bots***带来的危害。
一、四大Bots核心问题
正如自动化能够帮助企业有效地检测和缓解网络威胁一样，自动化工具的加持也让网络犯罪分子“如虎添翼”。自动化、智能化的Bots***正让企业网络的防线频频失守。
01
国家级大数据成为高级Bots的云集之地
“互联网+政务服务”开放了大量数据查询服务，这些数据经过聚合之后可以成为具有极高价值的国家级大数据，因此吸引了黑产和境外机构Bots的大规模数据拖取，如果被非法滥用，将会带来巨大危害。在各行业中，政府行业的Bots请求比例居行业之首，超过65%；在高级持续性Bots手段使用上，政府行业依然首当其冲，占比超过30%。
02
庞大的IP资源已成为Bots流量产业的基础设施
大规模廉价的IP资源大幅降低了绕过传统Anti-Bot技术的成本，也成为Bots流量中最常用的手段，更换IP方式在绕过手段中的采用率高达90%以上，严重削弱了IP信誉库的防御能力，高级组织每日使用IP数量可超过百万，两日IP重复率低于10%。
03
新兴领域的漏洞探测利用效率提升
随着开源和商业漏洞探测利用工具的发展，***者对于新兴领域的漏洞发现效率大幅度提升，IoT、API、云端应用等领域虽然兴起时间不长，但暴露的安全问题却有赶超传统领域的趋势，尤其在0day/Nday***、接口滥用等方面表现突出。
04
Bots流量全面隐藏机器特征促使前端对抗升级
借助丰富而低成本的IP资源、平台资源，Bots在流量层面的特征进一步被隐藏，这就要求防护系统能够在前端提取到更多的Bots信息进行识别。JS保护与破解、设备指纹追踪与反追踪、模拟操作行为对抗、验证码对抗等将会更加激烈，AI技术也将会深入介入其中。
二、五大Bots自动化威胁主要场景
随着自动化***手段的发展，业务系统面临的***类型也越来越多，OWASP最新发布的《Automated Threat Handbook》中提到的自动化威胁已达到21种之多。但同时，相对于传统安全***，企业普遍缺乏对于Bots***的认知和防护，这就进一步加剧了Bots***带来的危害。
《2020 Bots自动化威胁报告》结合国内的业务系统和***者的特点，从Bots***最主要的关注点和对业务影响的角度，提取出了五大Bots自动化威胁场景，为企业应对Bots自动化威胁及评估业务安全防护能力提供了极具意义的见解。
场景一：漏洞探测利用
随着Bots自动化工具的强势发展和应用，漏洞***不再是高级***组织的专属，而开始趋向“低成本、高效率”的模式。365*24全年无休的高强度漏洞扫描不会放过任何系统中的薄弱环节，无论是已知漏洞，还是零日漏洞，自动化Bots工具都可以随时随地进行探测，往往他们比企业自己还更了解系统的安全态势。
同时，漏洞的快速曝光和利用给企业带来了极大威胁。一个漏洞公布之后，随之而来的漏洞探测会迅速在互联网上批量尝试，几乎所有漏洞利用会在1天之内就被广泛传播。与此同时，对于0day漏洞，首次探测高峰已经由POC发布后的一周，提前到POC发布之前，这也令企业难以有效应对。
场景二：资源抢占
医院挂号、学校报名、网络购票、优惠秒杀……需要“抢”资源的场景几乎可以出现在人们日常生活中的方方面面。但是当Bots自动化工具出现，这场竞争的性质就截然不同了。Bots自动化工具不仅可以模拟正常操作逻辑，还凭借“批量、快速”的优势，使得普通用户全无胜算，从而大量抢占有限的社会资源，扭曲了社会资源的公平分配，严重扰乱了企业的正常运营和人们的日常生活。
某报名活动，在开启报名通道后的10分钟内，即被黑产组织利用自动化工具发起超过200万次抢占请求。
某企业在促销期间，APP异常下载请求总数超过42.9万，每小时请求数十分平均，使用工具发起的请求特征明显。
场景三：数据聚合
近年来，由于大数据处理和数据挖掘技术的发展，数据资产价值的概念深入人心。越来越多的公司或组织对公开和非公开的数据进行***式抓取，对数据进行聚合收集，造成潜在的大数据安全风险。同时，数据授权、来源、用途不透明，隐私侵权、数据滥用等问题也越来越严重。
以政府行业为例，“互联网+政务”服务开放了大量数据查询服务，而这些数据经过聚合之后，可以成为具有极高价值的国家级大数据，因此大量黑产和境外机构利用Bots自动化工具进行大规模数据拖取，国家级大数据已然成为高级Bots的云集之地。一旦这些数据被非法滥用，将会带来巨大危害。
某公示系统，全体24小时遭受爬虫的高强度访问，爬虫访问占比超过78%。
场景四：暴力破解
“账号密码”是系统防护措施中的重要一环，也一直高居***者最想窃取的内容榜首，而破解密码的一个最简单的方法就是暴力破解。目前网上泄漏的各类账号密码库基本都以TB为单位，而借助泛滥的Bots自动化工具，字典破解或撞库的成功率则大幅上升，电商、社交媒体、企业邮箱、OA系统、操作系统等具有登录接口的系统都是此类***的目标。
***者可以轻松利用被曝光的包括登录名/密码组合在内的个人数据，在短时间内对数百个不同的网站不断进行登录验证，试图盗用账号，乃至发起进一步***并从中获利或者获取更多的个人身份关联信息等有价数据。
场景五：拒绝服务***
拒绝服务***（DOS）已经是一个老生常谈的问题，传统针对DOS的防护主要集中在流量层面的分布式拒绝服务***（DDOS）对抗上，这一类***由于***特征相对明显，危害虽大，但企业也大多已经具备了相对完善的应对措施。
然而近些年兴起的业务层DOS***，则是***者利用Bots自动化工具来大量模拟正常人对系统的访问，从而大量消耗系统资源，使得系统无法为正常用户提供服务。由于业务层的DOS***从流量上看完全是正常的请求，没有明显的***特征，因此给企业防护带来了很大的难度。***者利用自动化Bots工具，通过对车票、机票进行循环下单但不付款的方式霸占所有座位，造成无票可售的现象就是一个典型案例。
未来随着Bots对抗的不断升级，我们相信，越来越多的***场景会给企业带来更大挑战，***也将是一个持续的过程。因此瑞数信息建议企业将Bots管理纳入到企业应用和业务威胁的管理架构中，部署能够针对自动化威胁进行防护的新技术，借助动态安全防护、AI人工智能及威胁态势感知等技术，提升Bots***防护能力，构建基于业务逻辑、用户、数据和应用的可信安全架构。
三、2019年Bots自动化威胁深度分析
随着自动化***手段的发展，业务系统面临的***类型也越来越多，OWASP最新发布的《Automated Threat Handbook》中提到的自动化威胁已达到21种之多。结合国内的业务系统和***者的特点，报告对Bots自动化威胁的多个层面进行了归纳分析和解读，并提出六大警示，为企业深入了解Bots威胁及提升相应的安全防御能力提供了参考。
报告指出，从Bots***流量最主要的关注点和对业务影响的角度，可以将Bots***类别分为5大类:
-漏洞探测利用
-模拟正常业务操作逻辑抢占业务资源
-爬虫获取高价值数据
-暴力破解或者撞库获取账号信息
-面向应用和业务的拒绝服务***
警示一：政府、金融、运营商、互联网行业成为Bots***重灾区
综合来看，Bots发起的请求占比已经超过网站访问总量的一半，达到55.35%，而对于某些提供公共信息查询的政务系统，Bots请求比例甚至超过80%。
从行业上看，政府行业的Bots请求占比最高，超过65%；金融、运营商、互联网行业的平均占比都超过了60%。除了通用的漏洞扫描外，不同行业遭受的Bots***类型也不一样。Bots 访问占比最高的政府行业，主要***场景有爬虫、信息搜刮等；其次为金融行业，主要***场景有薅羊毛、批量进件、撞库等；运营商行业则集中在批量缴费、通话记录或账单拖取等场景。
从Bots***来源来看，Bots***来源最多的省份是江苏，河南、浙江，广东紧随其后。这和当地的IDC、ISP提供商的营销策略不无关系。而来自境外的***中，美国以超过75%的占比高居榜首。
警示二：难以直接封杀的IP秒拨
作为互联网空间最基础的身份标识，IP一直是黑产和企业争夺对抗最激烈的***点。随着黑产技术的快速升级和***节奏的加快，秒拨IP资源成为了当下主流的黑产IP资源，被广泛用于批量注册、登录、投票、刷量等短时间内需要大量IP资源的风险场景，而且由于其难以识别的特性，也已经对当前的互联网安全造成了巨大危害。
报告指出，虽然来自IDC机房的IP依然是***的主力，但随着对抗的升级，在一些高级别对抗中，IP地址已经在向更为隐蔽、难以直接封杀的家庭IP、基站IP转移。相比传统的IDC代理技术，这些IP地址隐藏在真实的用户中，使得IP信誉检测的效果大打折扣，基于IP的拦截也会投鼠忌器。
警示三：更隐蔽的Bots身份声明
为提高***效率，Bots***者不断在尝试利用各种各样的手段来绕过检测措施，比如通过修改User-Agent来隐藏自己真实的身份信息。
通过对Bots的UA进行分析，可以发现Windows是半数以上Bots的首选操作系统(52.3%)，而Chrome则是它们最喜欢使用的“马甲”。
警示四：高歌猛进的APBs
随着各种Bots对抗技术的涌现，很多场景下简单的脚本工具已经没有用武之地，为了绕过各种防护手段，Bots也正由简单脚本向高级持续性机器人(APBs)不断演进。根据观察，APBs产生的流量在总Bots流量中的占比已经达到23.16%，随着对抗的升级，这一比例还会继续上升。
相对于普通Bots，APBs具备多种多样的“反反自动化***”能力，自动更换IP、特征隐藏、拟人化操作、验证码识别等技术已然成为标配。在一些对抗比较激烈的场景，例如薅羊毛、爬虫、抢报名等，APBs已经大规模应用。
APBs进化路线
为了绕过客户端的检测，并对网页中JS等程序进行执行，***者会通过自动化框架来完全模拟真实浏览器。据瑞数信息监测统计，目前应用最广泛的是WebDriver类框架，Headless Chrome、PhantomJS、NodeJS等也在大量应用。同时，通过瑞数信息动态安全Botgate对客户端真实环境的验证发现，Chrome内核仍然是APBs的首选。
警示五：移动端***的崛起
随着企业越来越多的业务系统向移动端迁移，***的***重心也必须向移动端转移，各类改机工具、破解框架、模拟器、群控、云控、IMEI伪造、GPS伪造等***手段层出不穷。
报告显示，移动平台的Bots最大来源城市为成都，南方城市总体较北方城市发起了更多移动端Bots***。
就移动端的***载体而言，Bots***呈现出对经济成本、系统破解难易度等方面的依赖。市场占有率更高、价格更低廉、破解难度更低的Android系统明显比iOS得到更多Bots***者的偏爱。
移动端Bots***来源平台分布
移动端Bots***来源手机品牌分布
警示六：更高的0day/Nday漏洞探测利用效率
漏洞的快速曝光和利用给企业带来了极大的威胁。漏洞公布之后，随之而来的漏洞探测会迅速在互联网上批量尝试，几乎所有漏洞利用会在1天之内就被广泛传播。而作为发现后即可立即被利用的安全漏洞，0day漏洞往往具有更大的突发性和破坏性。
随着开源和商业漏洞利用工具的发展，0day/Nday漏洞利用工具的获取难度在持续降低，但工具发布更新的频率却在迅速提升。尤其对于一些重量级的0day漏洞，首次探测高峰已经由POC披露后1周，提前到POC披露之前，这也让企业更加难以有效应对。
目前，Bots自动化***正在日益成为***者最青睐的***形式，免费、简单、高效，是***者越来越偏爱自动化的主要原因。***论坛或网站上发布的免费自动化脚本工具，以及破坏力极强但却不需要***者拥有深厚代码功底的自动化***工具都可以为***者所用，发起越来越复杂且成功率更高的自动化***。
在未来的***对抗中，企业也将会面临越来越多的自动化***。因此企业在应用及业务安全的防御策略上，除了加强基础风控的建设，也应当将Bots管理纳入其中，借助动态安全防护、AI人工智能、威胁态势感知等新技术，高效防御各类数字时代的新兴威胁。
四、2020年Bots自动化威胁七大趋势
2019年围绕Bots***展开的对抗技术得到了长足发展，但未来这一对抗依然会持续并不断增强。
移动端成为下一战场
随着企业业务不断从PC端向移动端迁移，***的***重心也在转移。除了传统的漏洞扫描、APP客户端逆向破解外，大量的非法第三方APP请求、API接口滥用、撞库、批量注册、刷单、薅羊毛等业务相关的***正在发生，移动端的对抗将进入下一阶段。
前端对抗持续增强
前端作为整个系统的大门，是Bots***中双方必争之地，各种对抗手段不断涌现，可以预见后续前端对抗依然会持续，在JS保护、设备指纹、操作行为等领域的对抗将会持续升级
IoT系统成为新兴***目标
智能家电、摄像头、路由器、车载系统等物联网(IoT)设备正深入人们的生活，***利用自动批量***工具，可以快速获取大量IoT设备的控制权，IoT已然成为信息泄漏和 DDOS***的生力军。
Bots成为API滥用的推手
在Bots的帮助下，***者对API接口进行暴力破解、非法调用、代码注入等***的效率将会大幅提升，API接口滥用行为的防护需求将愈加凸显。
“内鬼”防不胜防
面对高价值的企业数据，企业内部员工无意或蓄意地利用自动化工具及内网合法权限，拖取内部信息、操纵内网交易、建立垃圾账号的事件屡见不鲜，而Bots正充当了“内鬼”们窃密的利器。
云中斗争愈发激烈
云技术的发展会对Bots***产生深刻影响。一方面云资源成本降低使得部署于云上的Bots成本也随之降低，Bots数量因而上升；另一方面云上环境相比自建机房更为开放，***面暴露更多，遭受***的可能性也大大增加。
AI 深度介入***过程
AI人工智能已经是网络安全届最热门的话题之一。一方面，过去成本高昂的劳动密集型***，已经在基于AI的对抗学习以及自动化工具的应用下找到新的转型模式。另一方面，以AI为基础的***检测工具迅速发展，相比传统策略，基于AI的新型***检测，可以发现更为隐蔽的***。
五、应对Bots自动化***的八条防护建议
01
部署针对Bots自动化威胁的防御新技术
将Bots管理纳入到企业应用和业务威胁管理架构中，部署能针对自动化威胁进行防护的新技术，结合多重变幻的动态安全防护、威胁态势感知及人工智能技术，防止漏洞利用、拟人化***等多类应用安全问题，构建集中于商业逻辑、用户、数据和应用的可信安全架构。
02
以动态技术构建主动防御
通过对网页底层代码的动态变幻和实时人机识别技术，隐藏可能的***入口，增加服务器行为的不可预测性。同时，需要保证应用逻辑的正确运行，高效甄别伪装和假冒正常行为的已知和未知自动化***，直接从来源端阻断自动化***。
03
AI技术助力自动化威胁行为的深度分析和挖掘
融入涵盖机器学习、智能人机识别、智能威胁检测、全息设备指纹、智能响应等的AI技术，对客户端到服务器端所有的请求日志进行全访问记录，持续监控并分析流量行为，实现精准***定位和追踪溯源，并对潜在和更加隐蔽的***行为进行更深层次的分析和挖掘。
04
可编程对抗技术实现灵活便捷的***对抗
为企业使用者和用户构建了一个开放式的简单编程环境，提供上百个字段用于规则编写，让具备一定编程基础的客户能够根据企业自身的情况，实现自我防护需求定制和灵活、便捷的***对抗。
05
基于大数据分析的自动化威胁情报
通过大数据分析能力，结合业务威胁的特征，对流量进行实时监控。全方位感知透视自动化***的来源、工具、目的和行为，并对***者进行画像，建立IP信誉库、指纹信誉库和账号信誉库，实现安全无死角。
06
从等保合规的角度制定网络安全防护策略
结合《网络安全法》、等保2.0等网络安全相关的法律法规，将风险评估、安全监测、数据防护、应急处置、自主可控等纳入企业网络安全防护策略，提高应对网络***的防御能力，降低工作流程中的数据泄漏和其他安全风险。
07
强化内网纵深安全保护
从技术层面而言，企业可以通过APT解决方案、内网陷阱等方式，并引入“零信任机制”，强化内网纵深安全保护。此外，内网的Web应用及数据库服务器更是重点防护对象，以杜绝内部人员或外部******窃取或篡改企业的敏感关键数据。而从管理层面看，严格制定并安全执行各类IT使用规范必不可少。
08
重视IoT及工控设备安全
重视物联网及工控设备安全，提供设备的资产清查、安全管理、预警与联防，整体防护物设备、网络传输及云端，避免物联网及工控设备成为企业信息安全的重大隐患。
结语
安全就像一场永无休止的***战，***两端永远在博弈，此消彼长，没有完结的一天。未来，数字化将成为企业发展的“核心动能”，安全也将成为企业核心竞争优势之一。有效防御Bots自动化***是未来安全防护的趋势，了解自动化Bots***特点和系统安全态势，强化安全防护的协同联动，才是企业有效应对后续未知的自动化***态势，屹立于不败之地的关键。
标签：威胁,IP,解读,漏洞,2020,自动化,Bots,对抗 来源： https://blog.51cto.com/u_15127683/2827751
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。