标签：google 取库 word bing storage icrawler threads 必应 crawler

在一篇文章中看到这个库，随手就用了用，总体感觉还不错。
直接使用 pip install icrawler就能安装使用，还是挺方便的。

我觉得这个库的一个优势就是很方便，没有过多的代码，只需要设置好关键字一些关键参数就行。并且该库可以自动的使用多线程。
我是使用jupyter notebook测试的。
代码如下
 

from icrawler.builtin import BaiduImageCrawler 
from icrawler.builtin import BingImageCrawler 
from icrawler.builtin import GoogleImageCrawler 
#需要爬虫的关键字
list_word = ['抽烟 行人','玩手机 行人']
for word in list_word:
    #bing爬虫
    #保存路径
    bing_storage = {'root_dir': 'bing/'+word}
    #从上到下依次是解析器线程数，下载线程数，还有上面设置的保存路径
    bing_crawler = BingImageCrawler(parser_threads=2,
                                    downloader_threads=4,
                                    storage=bing_storage)
    #开始爬虫，关键字+图片数量
    bing_crawler.crawl(keyword=word,
                       max_num=4000)

    #百度爬虫
    baidu_storage = {'root_dir': 'baidu/' + word}
    baidu_crawler = BaiduImageCrawler(parser_threads=2,
                                      downloader_threads=4,
                                      storage=baidu_storage)
    baidu_crawler.crawl(keyword=word,
                        max_num=4000)

    # google爬虫
    google_storage = {'root_dir': '‘google/' + word}
    google_crawler = GoogleImageCrawler(parser_threads=2,
                                       downloader_threads=4,
                                       storage=google_storage)
    google_crawler.crawl(keyword=word,
                         max_num=4000)

标签：google,取库,word,bing,storage,icrawler,threads,必应,crawler
来源： https://blog.csdn.net/agq358/article/details/116301262

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。