python怎么实现的短效代理ip池程序

为什么要有这个玩意？

一般情况下，我们买一个付费的代理ip接口的时候，肯定是希望它能够物尽其用，我们往往会同时采集多个网站，使用多个不同的程序。如果每个程序都买一个代理ip接口的话，那样太贵了。不值得，而如果只用一个接口就能同时给多个站点采集那岂不是美哉。而且同一个代理ip，这个网站封了，另一个站点可能还是能用的。除非这个ip过期了。

因此就有了这个短时效代理ip池程序，这个程序提供了一般代理池都有的功能：

接口方面

1. 获取所有可用代理的接口
2. 顺序获取单个代理ip的接口
3. 顺序获取多个代理ip的接口
4. 随机获取单个代理ip的接口
5. 随机获取多个代理ip的接口

代理ip维护方面

1. 定时通过付费代理ip接口获取代理ip放入本地的代理ip池
2. 定时校验代理池中的ip是否还可用

程序配置

程序配置很简单，大家收到后会看到一个proxy.ini文件，根据里面的规则进行配置即可。

 

配置项就这些，一目了然。配置完成后即可运行脚本文件proxypool.py开启维护之旅。

程序运行

本次脚本是基于python3.8开发的，大家要运行的话最好也是python3.8版本，至少是python3.7以上版本，不支持python3.6及以下版本。

需要安装的依赖包：

aiohttp
flask

# 安装方法
pip install aiohttp flask -i https://pypi.doubanio.com/simple

1. 运行方法

2. 首页地址

3.获取所有代理ip接口

4. 顺序获取单个代理ip

 

5. 顺序获取10个代理ip

 

6. 随机获取5个代理ip

 

可以看到，跟普通的代理ip池的功能都差不多的呢。不过这个是驻留在内存里面的，没有放入数据库。因为时效短，一般都是1-5分钟，存数据库没啥意义。想要存放在数据库的话那么可以自己改写一下。