标签：平台 redis Twisted devel scrapy 实操 install 安装
我的scrapy_redis在windows上跑起来了，现在准备移植到Linux上。
项目中用到了MongoDb，Redis两个数据库，用到了scrapy框架，用到了scrapy-redis模块。
1. Linux上，安装MongoDb， 配置path
2. Linux上，安装Redis， 配置path
2.1 Redis中配置下，允许共享。
3.1 配置redis.conf 将 bind 127.0.0.1 使用#注释掉，改为# bind 127.0.0.1（bind配置的是允许连接的ip，默认只允许本机连接；若远程连接需注释掉，或改为0.0.0.0） 将 protected-mode yes 改为 protected-mode no（3.2之后加入的新特性，目的是禁止公网访问redis cache，增强redis的安全性） 将 requirepass foobared 注释去掉，foobared为密码，也可修改为别的值（可选，建议设置） 3.2 设置iptables规则，允许外部访问6379端口 iptables -I INPUT 1 -p tcp -m state --state NEW -m tcp --dport 6379 -j ACCEPT 临时生效，重启后失效。若想永久生效，请参考另一篇文章：http://www.cnblogs.com/jinjiyese153/p/8600855.html 3.3 启动redis，并指定配置文件 ./redis-server ../redis.conf
3. Linux上，安装Python3.6，（检查pip） 配置path
4. Linux上，安装依赖包： 配置path
1：yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel 2：yum -y install zlib zlib-devel 3：yum install gcc
5. python中，安装依赖模块
pip install requests pip install pymongo
6. python中， 安装 scrapy
pip install scrapy
如果报错：Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=13.1.0 (from Scrapy)
原因是没有安装Twisted
解决方案：安装Twisted。
wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2 --no-check-certificate tar -xjvf Twisted-15.2.1.tar.bz2 cd Twisted-15.2.1 python setup.py install
7. 安装成功检查：
在python3中导入scrapy:表示安装成功。
[root@localhost Python3.6.3]# python3 Python 3.6.3 (default, Aug 21 2018, 20:41:20) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import scrapy >>> exit()
8. python中安装scrapy-redis模块
pip install scrapy-redis
9. 拷贝爬虫项目，到随便文件夹下。
10. 进入文件夹中，还是```scrapy crawl name```跑起来。
标签：平台,redis,Twisted,devel,scrapy,实操,install,安装 来源： https://www.cnblogs.com/yuanyongqiang/p/11379212.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。