标签：LOG 爬虫 datetime scrapy spiders 日志 day stock

有些爬虫需要多次运行，这里记录一下如何配置日志记录
在settings.py中加入如下代码：

import datetime


BOT_NAME = 'stock'

SPIDER_MODULES = ['stock.spiders']
NEWSPIDER_MODULE = 'stock.spiders'

to_day = datetime.datetime.now()
logfile_path = "stock/log/scrapy_{}_{}_{}.log".format(to_day.year, to_day.month, to_day.day)
LOG_LEVEL = 'DEBUG'
LOG_FILE = logfile_path

然后在需要使用日志的地方

import logging
logging.debug('This is a debug message')

然后在你选定的目录下，新建日志文件：

运行程序就可以看到日志了。

标签：LOG,爬虫,datetime,scrapy,spiders,日志,day,stock
来源： https://blog.csdn.net/yao09605/article/details/94559568

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。