python爬虫实例之怎么快速响应服务器-创新互联

这篇文章给大家分享的是有关python爬虫实例之怎么快速响应服务器的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。

requests之所以称为“HTTP for human”，因为其封装层次很高，其中一处体现就在：requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候，搜狗搜索列表页面的公众号文章地址，其实不是微信的地址而需要请求到搜狗到服务器做重定向，而requests的默认处理则是将整个过程全部搞定，对此可以这样：

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。

另外，有时候对方网站的响应时间太长了，我们希望在指定时间内完事，或者直接停止这个请求，这时候的做法是：

In [1]: r = requests.get('http://xlzd.me', timeout＝3)

timeout表示这次请求最长我最长只等待多少秒

拓展：

为requests套上一层代理的做法也非常简单：

import requests
 
proxies = {
  "http": "http://192.168.31.1:3128",
  "https": "http://10.10.1.10:1080",
}
 
requests.get("http://xlzd.me", proxies=proxies)

感谢各位的阅读！关于python爬虫实例之怎么快速响应服务器就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到吧！