时隔五年，Scrapyd终于原生支持basicauth-创新互联

Issue in 2014

scrapy/scrapyd/issues/43

Pull request in 2019

scrapy/scrapyd/pull/326

试用

1. 安装

   pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth

2. 更新配置文件 scrapyd.conf，其余配置项详见官方文档

   [scrapyd]
   username = yourusername
   password = yourpassword

3. 启动：scrapyd

In [1]: import requests

In [2]: requests.get('http://127.0.0.1:6800/').status_code
Out[2]: 401

In [3]: requests.get('http://127.0.0.1:6800/', auth=('admin', 'admin')).status_code
Out[3]: 401

In [4]: requests.get('http://127.0.0.1:6800/', auth=('yourusername', 'yourpassword')).status_code
Out[4]: 200

4. 由于 Scrapyd 的 GitHub 最新提交已经重构了 Jobs 页面，如果正在使用 ScrapydWeb 管理 Scrapyd，则需同步更新 ScrapydWeb：

   pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。