Python中selenium爬取微信公众号文章的方法-创新互联

这篇文章主要介绍Python中selenium爬取微信公众号文章的方法，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

需求：

想阅读微信公众号历史文章，但是每次找回看得地方不方便。

思路：

1、使用selenium打开微信公众号历史文章，并滚动刷新到最底部，获取到所有历史文章urls。

2、对urls进行遍历访问，并进行下载到本地。

实现

1、打开微信客户端，点击某个微信公众号->进入公众号->打开历史文章链接（使用浏览器打开），并通过开发者工具获取到cookies，保存为excel。

2、启动webdriver，并添加相应cookies。

browser = webdriver.Chrome()
wait = WebDriverWait(browser,10)
# 随便访问一个地址，然后才能设置cookies
browser.get('https://httpbin.org/get')
# 添加cookies,df为保存的excel cookies
for i in range(len(df)):
  cookie_dict = {
          "domain": df.loc[i,'DomaiN'], 
          'name': df.loc[i,'Name'],
          'value': str(df.loc[i,'Value']),
          "expires": df.loc[i,"Expires/Max-Age"],
          'path': '/',}
  browser.add_cookie(cookie_dict)
browser.get(weixin_url)