Python爬虫面向知乎的答案提取和图片下载

　　需求描述： 爬取知乎的答案，爬取并下载一个问题下所有回答中的图片。
　　实现平台： 开发工具PyCharm2017，语言版本Python3.6，Chrome谷歌浏览器。
　　基本原理： 1.发送请求，获取网页HTML源码；解析HTML，获取数据；保存数据。2
　　模拟浏览器登录，获取并解析HTML，获取数据。利用Python中的库即可便捷实现。
　　功能实现1：知乎答案爬取
　　实现思路：
　　1. 首先实现安装好第三方模块requests和bs4并调用。
　　2. 其次设置Http请求头，利用requests访问网页获取到源代码，利用bs模块中的BeautifulSoup得到解析过后的html。
　　3. 随后，分别通过对照网页源代码中标签内容进行匹配，分别获取问题标题、问题内容、点赞数以及答案等内容。
　　4. 最后进行包括知乎答案等信息的打印。
　　分别对应上述思路进行代码编写。
　　1. 调用第三方模块。
　　#-*- coding: UTF-8 -*-
　　# 爬取知乎答案
　　import requests
　　from bs4 import BeautifulSoup
　　2. 设置Http请求头：可以在Chrome谷歌浏览器的网页中的任意地方按下F12，打开chrome自带的调试工具，在调试工具中选择network标签，F5刷新网页后在左边找到该网页url，点击该url，选择Headers，就可以看到当前网页的Http头。复制到header={}中。
　　获取源代码并解析：利用requests和BeautifulSoup实现，并返回解析后的body。
　　#获取网页body里的内容
　　def get_content(url , data = None):
　　# 设置Http请求头，根据自己电脑查一下
　　header={
　　＂Accept＂: ＂text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8＂,
　　＂Accept-Encoding＂: ＂gzip, deflate, sdch＂,
　　＂Accept-Language＂: ＂zh-CN,zh;q=0.8＂,
　　＂Connection＂: ＂keep-alive＂,
　　＂User-Agent＂: ＂Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235＂
　　}
　　req = requests.get(url, headers=header)
　　req.encoding = ＂utf-8＂
　　bs = BeautifulSoup(req.text, ＂html.parser＂) # 创建BeautifulSoup对象
　　body = bs.body #
　　return body
　　3. 标签内容进行class匹配：问题标题——QuestionHeader-title，问题内容——RichText ztext，点赞量——Button VoteButton VoteButton—up，问题回答——ContentItem-time。
　　#获取问题标题
　　def get_title(html_text):
　　data = html_text.find(＂h1＂, {＂class＂:＂ QuestionHeader-title ＂}) #匹配标签
　　return data.string.encode(＂utf-8＂)
　　#获取问题内容
　　def get_question_content(html_text):
　　data = html_text.find(＂span＂, {＂class＂: ＂RichText ztext＂})
　　print (data.string)
　　if data.string is None:
　　out = ＂＂
　　for datastring in data.strings:
　　datastring = datastring.encode(＂utf-8＂)
　　out = out + datastring.encode(＂utf-8＂)
　　print (＂内容： ＂ + out)
　　else:
　　print (＂内容： ＂ + data.string.encode(＂utf-8＂))
　　#获取点赞数
　　def get_answer_agree(body):
　　agree = body.find(＂button＂,{＂class＂: ＂Button VoteButton VoteButton--up＂})
　　agree_html = BeautifulSoup(str(agree), ＂html.parser＂)
　　all_buttons = agree_html.find_all(＂button＂, {＂class＂: ＂Button VoteButton VoteButton--up＂})
　　one_button = all_buttons[0]
　　agree_number = one_button[＂aria-label＂]
　　print(agree_number)
　　#获取答案
　　def get_response(html_text):
　　out1 = ＂＂
　　response = html_text.find_all(＂p＂, {＂class＂: ＂ContentItem-time＂})
　　for index in range(len(response)):
　　#获取标签
　　answerhref = response[index].find(＂a＂, {＂target＂: ＂_blank＂})
　　if not(answerhref[＂href＂].startswith(＂javascript＂)):
　　url = ＂http:＂ + answerhref[＂href＂]
　　body = get_content(url)
　　get_answer_agree(body)
　　answer = body.find(＂span＂, {＂class＂: ＂RichText ztext CopyrightRichText-richText css-hnrfcf＂})
　　if answer.string is None:
　　out = ＂＂
　　for datastring in answer.strings:
　　datastring = datastring.encode(＂utf-8＂)
　　out = out + ＂ ＂ + str(datastring,encoding = ＂utf-8＂)
　　else:
　　print (answer.string.encode(＂utf-8＂))
　　out1 = out1 + ＂ ＂ + out
　　return url + ＂ ＂ + out1
　　4. 结果输出打印：以一个网址为例，调用之前编写的函数，进行信息的获取和打印。
　　# 输入要爬取的网址
　　URL_target = ＂https://www.zhihu.com/question/505503990/answer/2276487889＂
　　html_text = get_content(URL_target)
　　title = get_title(html_text)
　　print (＂标题：＂ + str(title,encoding = ＂utf-8＂) + ＂ ＂)
　　data = get_response(html_text)
　　print (data)
　　功能实现2：知乎图片下载
　　实现思路：
　　1. 首先实现安装好chromedriver模拟人为登录浏览器，模拟登录网页，中途拿手机扫码登录。
　　2. 安装好模块selenium、time、urllib.request 、bs4 和html.parser并调用。
　　3. 利用chromedriver打开浏览器并登录知乎，利用bs模块中的BeautifulSoup得到解析过后的html。
　　4. 随后，找到照片并进行下载。
　　5. 保存所有图片。
　　思路是先模拟登录网页，(中途拿手机扫码登录)，然后逐步爬取所有回答。
　　1.下载对应Chrome版本的chromedriver。
　　通过chrome://version/查看版本，下载chromedriver后解压安装。详细可以参考这个说明。
　　selenium 安装与 chromedriver 安装 ：https://www.cnblogs.com/lfri/p/10542797.html
　　我的Chrome版本是：94.0.4606.71(正式版本)（64 位），对应文件夹应该放在
　　C:Program FilesGoogleChromeApplication
　　2.分别对应上述思路进行代码编写，安装好模块并调用。
　　#　爬取知乎问题下的所有图片
　　from selenium import webdriver
　　import time
　　import urllib.request
　　from bs4 import BeautifulSoup
　　import html.parser
　　3.自动化打开浏览器并扫码登录知乎，并解析网页 HTML 信息，查找所有的noscript标签。
　　def main():
　　# 确保文件夹中有chromedriver.exe，有的在C:Program Files x86
　　chromedriver = ＂C:Program FilesGoogleChromeApplicationchromedriver.exe＂
　　driver = webdriver.Chrome(chromedriver)
　　time.sleep(5)
　　driver.get(＂https://www.zhihu.com/question/287084175＂) # 打开想要爬取的知乎页面
　　time.sleep(5)
　　# 模拟用户操作
　　def execute_times(times):
　　for i in range(times):
　　driver.execute_script(＂window.scrollTo(0, document.body.scrollHeight);＂)
　　time.sleep(3)
　　try:
　　driver.find_element_by_css_selector(＂button.QuestionMainAction＂).click()
　　print(＂page＂ + str(i))
　　time.sleep(1)
　　except:
　　break
　　# 执行次数
　　execute_times(5)
　　# 原网页的信息
　　result_raw = driver.page_source # 这是原网页 HTML 信息
　　result_soup = BeautifulSoup(result_raw, ＂html.parser＂)# 然后将其解析
　　result_bf = result_soup.prettify() # 结构化原 HTML 文件
　　with open(＂D:/python安装包/PycharmProjects/zhihutupian/raw_result.txt＂, ＂w＂,encoding=＂utf-8＂) as raw_result: # 存储路径里的文件夹需要事先创建。
　　raw_result.write(result_bf)
　　raw_result.close()
　　print(＂爬取回答页面成功!!!＂)
　　with open(＂D:/python安装包/PycharmProjects/zhihutupian/noscript_meta.txt＂, ＂wb＂) as noscript_meta:
　　noscript_nodes = result_soup.find_all(＂noscript＂) # 找到所有node
　　noscript_inner_all = ＂＂
　　for noscript in noscript_nodes:
　　noscript_inner = noscript.get_text() # 获取node内部内容
　　noscript_inner_all += noscript_inner + ＂ ＂
　　noscript_all = html.parser.unescape(noscript_inner_all).encode(＂utf-8＂) # 将内部内容转码并存储
　　noscript_meta.write(noscript_all)
　　noscript_meta.close()
　　print(＂爬取noscript标签成功!!!＂)
　　4.查找所有图片并命名下载。
　　img_soup = BeautifulSoup(noscript_all, ＂html.parser＂)
　　img_nodes = img_soup.find_all(＂img＂)
　　with open(＂D:/python安装包/PycharmProjects/zhihutupian/img_meta.txt＂, ＂w＂) as img_meta:
　　count = 0
　　for img in img_nodes:
　　if img.get(＂src＂) is not None:
　　img_url = img.get(＂src＂)
　　line = str(count) + ＂	＂ + img_url + ＂ ＂
　　img_meta.write(line)
　　urllib.request.urlretrieve(img_url, ＂D:/python安装包/PycharmProjects/zhihutupian/＂ + str(count) + ＂.jpg＂) # 一个一个下载图片
　　count += 1
　　img_meta.close()
　　print(＂图片下载成功＂)
　　if __name__ == ＂__main__＂:
　　main()
　　5.最后进行包括知乎图片的保存。
　　最后,有相关爬虫需求欢迎通过公众号联系我们.
　　公众号: 320科技工作室