python中urllib库如何使用

python中urllib库如何使用，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站建设、做网站、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的阳江网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

urllib库用于爬取网络数据

urllib包含如下四个模块：

urllib.request 用于发起网络请求

urllib.parse 用于操作url

urllib.errer 用于处理网络请求错误

urllib.robotparser 用于解析网站robots.txt文件

爬取51job网站 工作案例

import urllib.request
import user_agent       # 用于生成User-Agent
import re 
import lxml.etree as le     # 用xpath 匹配数据
import tool
import pandas as pd 

keywords = input('keywords>')
page = input('page>')
data_best = []
header = {'User-Agent':user_agent.get_user_agent_pc()}
request = urllib.request.Request(                 #构造请求头
	url='https://search.51job.com/list/170200,000000,0000,00,9,99,{keywords},2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='.format(keywords=keywords,page=page),
        headers=header
)

response = urllib.request.urlopen(request)

pattern = 'window.__SEARCH_RESULT__ =(.*?)
总结：
打开链接可以用urllib.request.urlopen()直接打开，也可以用urllib.request.Request()构造更隐蔽的请求，urllib.request.Request() 传入url、data、headers参数，data是bytes类型
urllib.parse.urlencode()方法可以构造url
关于python中urllib库如何使用问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。
            
            
                        

            分享文章：python中urllib库如何使用            

            文章源于：http://cqcxhl.cn/article/peheoc.html