重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
上集回顾:
网站建设哪家好,找创新互联!专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了禹会免费建站欢迎大家使用!
上集快速领略了一下 BeautifulSoup 的大概功能,并学习了如何安装和构造一个 BeautifulSoup 对象。
本集学习 BeautifulSoup 的 Tag 及其属性。
由于HTML和XML是由大量tag组合和嵌套而成,所以检索目标信息就是检索目标tag的过程。
一、Tag对象
Tag 对象与XML或HTML原生文档中的tag相同:
Tag有很多方法和属性,其中最重要的属性是: name和attributes。
二、name属性
每个tag都有自己的名字,通过 .name 来获取:
如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:
三、attributes属性
一个tag可能有很多个属性. tag b class="boldest" 有一个 “class” 的属性,值为 “boldest” . tag的属性的操作方法与字典相同:
也可以直接”点”取属性, 比如: .attrs :
tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样
四、多值属性
HTML 定义了一系列可以包含多个值的属性。最常见的多值的属性是 class (一个tag可以有多个CSS的class). 还有一些属性 rel , rev , accept-charset , headers , accesskey 。在Beautiful Soup中多值属性的返回类型是list:
如果某个属性看起来好像有多个值,但在任何版本的HTML定义中都没有被定义为多值属性,那么Beautiful Soup会将这个属性作为字符串返回
将tag转换成字符串时,多值属性会合并为一个值
如果转换的文档是XML格式,那么tag中不包含多值属性
五、字符串
字符串常被包含在tag内。BeautifulSoup用 NavigableString 类来包装tag中的字符串:
一个 NavigableString 字符串与Python中的Unicode字符串相同,通过 unicode() 方法可以直接将 NavigableString 对象转换成Unicode字符串:
本集总结:
下集见
如果有一个字符串s(我用的是python3)
那么第一个字符是s[0],最后一个字符是s[len(s)-1]
然后判断这两个字符是不是尖括号就可以了
这个不难啊,用id来定位元素,然后就可以了。id通常是唯一的。
from bs4 import BeautifulSoup
html_doc = 'a href="" class="sister" id="link1"Elsie/a,'
soup = BeautifulSoup(html_doc, 'html.parser')
print soup.find(id="link1").string # = 'Elsie'
如果要用sgmllib解析html,则要继承sgmllib.SGMLParser类,此类里的函数都是空的,用户需要重载它。这个类提供的功能是在特定情况下调用相应的函数。
比如当发现html标签时,如果并没有定义 start_html(self,attr)函数,则会调用unknown_starttag函数,具体怎么处理则根据用户。
sgml的标签是可以自定义的,比如自己定义了一个start_lala函数,则就会处理lala标签。
有个地方要说明下,如果定义了start_tagname函数,有定义了handle_starttag函数,则函数只会运行handle_starttag函数,start_tagname为空函数都没有问题,如果没有定义handle_starttag函数,则遇到tagname标签时,会运行start_tagname函数。如果没有定义tagname的start函数,则此标签为未知标签,调用unknown_starttag函数
给你个例子你就知道了:
#------------------ HTMLParser_stack.py ------------------#
#-- coding: GBK --
import sgmllib,sys,os,string
html = """lalaheadtitleAdvice/title/headbody
pThe a href="" mce_href=""IETF admonishes:
iBe strict in what you bsend/b./i/a/p
form
input type=submit name='我' 我 input type=text name=start size=4/form
/body/lala
"""
os.chdir('d://python')
f=file('testboard.txt','r')
contest=f.read()
tagstack = []
class ShowStructure(sgmllib.SGMLParser):
def handle_starttag(self, tag, method,attrs): tagstack.append(tag)
def handle_endtag(self, tag): tagstack.pop()
def handle_data(self, data):
if data.strip():
for tag in tagstack: sys.stdout.write('/'+tag)
sys.stdout.write(' %s/n' % data[:40].strip())
def unknown_starttag(self,tag,attrs):
print 'start tag:'+tag+''
def unknown_endtag(self,tag):
print 'end tag:/'+tag+''
def start_lala(self,attr):
print 'lala tag found'
ShowStructure().feed(html)
输出:
start tag:head
start tag:title
/lala Advice
end tag:/title
end tag:/head
start tag:body
start tag:p
/lala The
start tag:a
/lala IETF admonishes:
start tag:i
/lala Be strict in what you
start tag:b
/lala send
end tag:/b
/lala .
end tag:/i
end tag:/a
end tag:/p
start tag:form
start tag:input
/lala ϒ
start tag:input
end tag:/form
end tag:/body
end tag:/lala
报错提示给你说的很明显了......
可能是“text1”在你代码中间被替换了,
变成了None,
检查代码吧。。。