重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
一、开发环境
创新互联公司主要从事成都网站设计、成都网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务颍泉,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575Centos6.0
Scrapy1.5
Python3.6
Mongodb3.6
Pycharm
二、Scrapy1.5安装
pip install scrapy
如果Python3.6时通过编译安装的,先进行如下设置,设置环境变量,设置别名。
安装遇到的问题:
pip无法请求HTTPS类型的网站,原因是缺少SSL模块。解决办法安装openssl-devel。命令是 sudo yum install -y openssl-devel
SSL安装成功
现在执行pip3 install scrapy 还是报错,这是因为我们的Python3.6是通过编译安装的,所以要重新编译Python以兼容SSL模块。
编译安装执行make && make install完毕后,再执行pip3 install scrapy又报了一个错误,找不到twisted大于13.1.0的版本。
打开浏览器,输入https://pypi.org/ 搜索twisted并下载。完成后通过rz命令导入到服务器中,移动到soft文件中。使用tar -xvjf 进行解压缩,进入到解压后的twisted文件中,使用Python3 setup.py install安装。
再次pip3 install scrapy,成功。安装位置在python安装文件的bin目录下,编辑.bashrc,设置别名。使用source .bashrc编译。在命令行输入scrapy即可。
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。