标签:cookies 这个 框架 #### start scrapy 个人主页 模拟
####
#####
####
更多的时候是使用第三个办法,
####
思考,这个start_urls是谁发起的?
如果是访问的12306的个人主页,这个肯定就访问不到了,因为要登陆,
我们是否可以在发起这个请求之前构造cookies?
spider这个类,源码里面有内容:
#####
所以我们有必要的话,是可以重写这个start_requests这个方法的,
###
案例,访问人人网的个人主页
厉害了,字典推导式把cookies变成字典,
重写了start_requests这个方法的,
我们再去请求个人信息页,也会携带cookies的,因为scrapy,默认是携带上一次的cookies的,在settings里面有设置,
如果你不确定第二次请求有没有携带上一次的cookies,可以setting里面设置,cookies-debug,这样就可以运行的时候debug出来cookies内容了,
####
####
标签:cookies,这个,框架,####,start,scrapy,个人主页,模拟 来源: https://www.cnblogs.com/andy0816/p/15059044.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。