爬取豆瓣的tp250电影名单-创新互联

#       https://movie.douban.com/top250?start=25&filter=   要爬取的网页

import re
from urllib.request import urlopen

def getPage(url):
    response=urlopen(url)
    return response.read().decode('utf-8')

def parsePage(s):
    ret=com.finditer(s)
    for i in ret:
        ret={
            'id': i.group('id'),
            'move_name':i.group('move_name'),
            'move_d':i.group( 'move_d'),
            'move_t':i.group('move_t'),
            'content': i.group('content'),
            'infor':i.group('infor')
        }
        yield  ret

def main(num):
    url='https://movie.douban.com/top250?start=%s&filter= ' %num
    res=getPage(url)
    ret=parsePage(res)
    print(ret)
    f=open('move',mode='a+',encoding='utf-8')
    for obj in ret:
        print(obj)
        data1=str(obj).replace('\\n','')
        data2=data1.replace(' ','')
        f.write(data2 + '\n')
    f.close()

com=re.compile('
(?:.*?)(?P.*?)(?:.*?)alt=(?P.*?)src(?:.*?)导演:'
            '(?P.*?) (?:.*?)
(?P.*?) (?:.*?) / (?P.*?)
(?:.*?)(?P.*?)',re.S)

count=0
for i in range(10):
    main(count)
    count+=25

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。