标签：py day96 python cmd parse scrapy chouti response

想要执行parse能够在cmd看到parse函数的执行结果：

解决方法：

settings.py 中设置  ROBOTSTXT_OBEY = False  

案例：

   day96\day96\spiders\chouti.py

# -*- coding: utf-8 -*-
import scrapy
import sys
import io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['chouti.com']
    start_urls = ['http://dig.chouti.com/']

    def parse(self, response):
        # print(response.url)
        # print(response.text)
        content=str(response.body,encoding='utf-8')
        print(content)

day96\day96\settings.py

ROBOTSTXT_OBEY = False

 参考链接：https://bbs.csdn.net/topics/392316454?page=1

标签：py,day96,python,cmd,parse,scrapy,chouti,response
来源： https://www.cnblogs.com/xhzd/p/11033056.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。