重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
import requests
from lxml import etree
import re
import time
from multiprocessing import Pool #导入multiprocessing库的Pool模块
headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'}
def get_info(url):
html = requests.get(url,headers = headers)
selector = etree.HTML(html.text)
names = selector.xpath('//*[@class="article block untagged mb15 typs_hot"]/div[1]/a[2]/h3/text()')
centents = re.findall('.*?(.*?)',html.text,re.S) #第一个正则是为了匹配换行符
laughs = re.findall('(\d+)',html.text,re.S)
comments = re.findall('(\d+) 评论',html.text,re.S)
for name,centent,laugh,comment in zip(names,centents,laughs,comments):
info = {
'name':name,
'centent':centents,
'laugh':laughs,
'comment':comments
}
return (info)
if __name__ == '__main__':
urls = ["https://www.qiushibaike.com/text/page/{}/".format(num)for num in range(0,14)]
start_1 = time.time()
for url in urls:
get_info(url)
end_1 = time.time()
print('串行爬取花费时间:' + str(end_1 - start_1))
start_2 = time.time()
pool = Pool(processes=2) #创建进程池,processes为设置的进程个数
pool.map(get_info,urls) #利用map()函数运行进程,参数fuc为运行的函数,iterable为迭代参数
end_2 = time.time()
print('2个进程:' + str(end_2 - start_2))
start_3 = time.time()
pool = Pool(processes=4) # 创建进程池,processes为设置的进程个数
pool.map(get_info, urls) # 利用map()函数运行进程,参数fuc为运行的函数,iterable为迭代参数
end_3 = time.time()
print('4个进程:' + str(end_3 - start_3))输出:
我们一直强调做网站、成都网站制作对于企业的重要性,如果您也觉得重要,那么就需要我们慎重对待,选择一个安全靠谱的网站建设公司,企业网站我们建议是要么不做,要么就做好,让网站能真正成为企业发展过程中的有力推手。专业网站建设公司不一定是大公司,成都创新互联公司作为专业的网络公司选择我们就是放心。
D:\Python\venv\Scripts\python.exe D:/Python/venv/test12.py
串行爬取花费时间:5.043288469314575
2个进程:3.351191759109497
4个进程:2.882164716720581
Process finished with exit code 0
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前题目:多进程爬取-创新互联
文章转载:http://cqcxhl.cn/article/djises.html