使用订阅号实现微信公众号历史文章爬虫

微信公众号已经成为生活的一部分了,虽然里面有很多作者只是为了蹭热点,撩读者的 G 点,自己从中获得一些收益;但是不乏好的订阅号,像刘大的码农翻身、Fenng的小道消息、曹大的caoz的梦呓等订阅号非常值得阅读。

平时有时候看到一些好的公众号,也会不自觉去查看该公众号的历史文章,然而每次都看不完,下一次再从微信里面打开历史文章,又需要从头翻起。而且对于写了很多年的大号,每次还翻不到底。有一些平台提供了相关的服务,但是得收几十块钱的费用,倒不是缺几十块钱,主要是觉得这种没必要花的钱不值得去浪费。

网上搜如何爬微信公众号历史文章,大致给了三种思路,第一是使用搜狗微信搜索文章,但是好像每次能搜到的不多;第二是使用抓包工具;第三种是使用个人订阅号进行抓取。

简单来说就是使用程序来模拟人的操作,抓取公众号历史文章。首先登录微信公众号个人平台,期间需要管理员扫码才能登录成功。

def __open_gzh(self):
    self.driver.get(BASE_URL)
    self.driver.maximize_window()
    username_element = self.driver.find_element_by_name("account")
    password_element = self.driver.find_element_by_name("password")
    login_btn = self.driver.find_element_by_class_name("btn_login")
    username_element.send_keys(USERNAME)
    password_element.send_keys(PASSWORD)
    login_btn.click()
    WebDriverWait(driver=self.driver, timeout=200).until(
        ec.url_contains("cgi-bin/home?t=home/index")
    )
    # 一定要设置这一步,不然公众平台菜单栏不会自动展开
    self.driver.maximize_window()

进入微信公众平台首页后,点击素材管理,然后点击新建图文素材,就会进入到文章写作页面,此时前面打开的微信公众平台首页就不需要了,可以将其关闭。

1569769112098.png

def __open_write_page(self):
    management = self.driver.find_element_by_class_name("weui-desktop-menu_management")
    material_manage = management.find_element_by_css_selector("a[title='素材管理']")
    material_manage.click()
    new_material = self.driver.find_element_by_class_name("weui-desktop-btn_main")
    new_material.click()
    # 关闭公众平台首页
    handles = self.driver.window_handles
    self.driver.close()
    self.driver.switch_to_window(handles[1])

在文章写作页面的工具栏上面有一个超链接按钮,点击超链接即会弹出超链接编辑框,选择查找文章,输入自己喜欢的公众号进行查找,一般第一个就是自己想要的结果,点击对应的公众号,该公众号所有的文章就会通过列表的形式展现出来。

1569769146552.png

1569769155528.png

1569769164616.png

def __open_official_list(self):
    # 超链接
    link_click = self.driver.find_element_by_class_name("edui-for-link")
    link_click.click()
    time.sleep(3)
    # 查找文章
    radio = self.driver.find_element_by_class_name("frm_vertical_lh").find_elements_by_tag_name("label")[1]
    radio.click()
    # 输入查找关键字
    search_input = self.driver.find_element_by_class_name("js_acc_search_input")
    search_input.send_keys(OFFICIAL_ACCOUNT)
    search_btn = self.driver.find_element_by_class_name("js_acc_search_btn")
    search_btn.click()
    # 等待5秒,待公众号列表加载完毕
    time.sleep(5)
    result_list = self.driver.find_element_by_class_name("js_acc_list").find_elements_by_tag_name("div")
    result_list[0].click()

文章列表已经展现出来了,直接抓取每条文章超链接的信息即可,每抓取完一页就进入下一页,继续抓取文章列表信息,直到所有文章信息都抓取完毕。

1569769176463.png

def __get_article_list(self):
    # 等待文章列表加载
    time.sleep(5)
    total_page = self.driver.find_element_by_class_name("search_article_result")\
        .find_element_by_class_name("js_article_pagebar").find_element_by_class_name("page_nav_area")\
        .find_element_by_class_name("page_num")\
        .find_elements_by_tag_name("label")[1].text
    total_page = int(total_page)
    articles = []
    for i in range(0, total_page-1):
        time.sleep(5)
        next_page = self.driver.find_element_by_class_name("search_article_result")\
            .find_element_by_class_name("js_article_pagebar").find_element_by_class_name("pagination")\
            .find_element_by_class_name("page_nav_area").find_element_by_class_name("page_next")
        article_list = self.driver.find_element_by_class_name("js_article_list")\
            .find_element_by_class_name(" my_link_list").find_elements_by_tag_name("li")
        for article in article_list:
            article_info = {
                "date": article.find_element_by_class_name("date").text,
                "title": article.find_element_by_tag_name("a").text,
                "link": article.find_element_by_tag_name("a").get_attribute("href")
                }
            articles.append(article_info)
        next_page.click()
    return articles

至此,微信公众号历史文章的爬虫已经实现,其实整个过程只不过是用程序来模拟的了人类的操作。需要注意的是,程序不能设置太快,因为微信做了相关限制,所以设太快会在一段时间内无法使用文章查找功能;另外一点是使用选择器选择页面元素的时候,会有一些坑,而且我发现不同账号登录,有很少部分的页面元素虽然直观上是一样的,但是它的 html 代码有细微的差别。

这个小程序会用到selenium库,和chromedriver,前者直接pip install即可,后者自行下载;另外你还需要一个订阅号才行,本文只实现了关键的文章信息抓取,并没有进行文章信息的持久化存储,完整代码在这里。

跳出程序员圈子之后,身边的朋友老是咨询我如何学习爬虫,我抱着试一试的态度给他们开设了一个《从爬虫开始学 Python》的课程,反响比如预期的要好多了,听了课的大部分朋友告诉我除了学到一点爬虫抓数据外,还不小心学会了如何处理电脑遇到的各种问题,电脑系统有问题再也不用拿到店里去修了。当然也有两个朋友通过学习再加上自己后期的努力,转行到程序员行业去了。如果你对爬虫感兴趣的话,也欢迎添加我的微信:Guanngxu,我们可以一起交流 Python 爬虫和不写代码的爬虫。

微信爬虫Python