我用Python爬了好多美女,你确定不来看看?
前期准备# 安装wget,用于下载美女 pip install wget # 安装requests_html,用于爬取页面元素 pip install requests_html
代码设计1、请求headers随机选择,避免被反爬 2、定义downloadPic方法执行下载任务 3、定义getPicUrl方法,根据页面url获取图片url 4、定义main主方法,组织逻辑 5、对于图片关键词、图片数量抽离,万一你们不喜欢美女呢? 6、图片服务器选择搜狗
代码编写import wget from requests_html import HTMLSession import urllib,urllib3 import os import random urllib3.disable_warnings() BASE_DIR = os.path.dirname(__file__) print(BASE_DIR) user_agent_list = ["Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/85.0.564.70" ] header = {"Content-Type": "application/json",} header["User-Agent"] = random.choice(user_agent_list) def downloadPic(url,kw,pic_num,out_path,pic_type="jpg"): """ @url: 待下载的url @kw:图片关键词 @pic_num:计划下载的数量 @out_path:图片下载的相对路径 @pic_type:图片类型 """ img_name = "{}-{}.{}".format(kw,pic_num,pic_type) img_full_name = "{}{}{}".format(BASE_DIR,out_path,img_name) res = wget.download(url=url,out=img_full_name) if res: print("img:{} has downloaded!".format(img_name)) def getPicUrl(req_url): session = HTMLSession() res = session.get(url=req_url,headers=header,verify=False) img_box = res.html.links for i in img_box: if "jpg" in i or "png" in i or "jpeg" in i: return i def main(kw="美女",num=10,img_path="img"): """ @kw: 关键词 @num: 计划下载的数量 """ # 将中文关键词编码 kwd = urllib.parse.quote(kw) # 生成页面url for i in range(num): index = i+1 base_url = "https://pic.sogou.com/d?query={}&forbidqc=&entityid=&preQuery=&rawQuery=&queryList=&st=&did={}".format(kwd,index) # 根据页面url,获取图片url url = getPicUrl(base_url) # 执行下载 downloadPic(url=url,kw=kw,pic_num=index,out_path=img_path) if __name__ == "__main__": main(kw="美女",num=10)下载的美女
大图欣赏
还不赶紧去试试?想要帅哥的,修改kw= "帅哥" 即可。
大数据编程入门JavaStreamFile及IO在Java中的Java。io包是什么?其中的流又是什么?而它们在Java中又有着什么样的功能?不知道?别担心,今天小编将为大家带来大数据编程入门JavaStreamFile及IO这
大数据编程入门Java循环结构在Java编程处理业务时,往往需要进行循环判断处理数据,此时就会用到Java的循环结构。今天我将为大家带来大数据编程入门Java循环结构这篇文章。顺序结构的程序语句只能执行一次,如
大数据编程入门JavaMatcher类的方法在java。util。regex包中主要包括三类,其中的Matcher对象是解释和匹配输入字符串的对象,今天小编将为大家带来Matcher类的方法。一Matcher类的方法Matc
大数据学习什么数据库?大数据技术是近些年来比较热门的一种IT技术,大数据技术的应用给我们生活带来了许多便利,很多人意识到了大数据技术的意义,部分人参与到了大数据的学习当中,既然是对数据的处理,就会用到数
大数据编程入门JavaCalendar类如果我们想在Java程序中去设置和获取日期的特定部分的时候,我们将如何去做呢?今天小编将为大家带来大数据编程入门JavaCalendar类。一JavaCalendar类Calend
大学里的大数据专业需要学习哪些课程?各地高考分数陆续出炉,大部分考生们在填报志愿时注意到了大数据相关的专业,大数据作为近几年的热点,那么在高校中的大数据相关的专业需要学习哪些课程呢?今天小编将分本科和专科两部分来介绍
杨学山美国的小院高墙挡不住中国演讲杨学山整理巴九灵我想从工业制造业的地位和作用建设制造强国的任务提升产业大军的素质这三个问题,和大家做个交流。十分高兴再次来到闻名中外的制造业之都东莞,非常高兴有机会跟大家分享制
美国债务上限问题的终结,要指望一枚硬币?财富不是来自占有,而是来自节制。爱比克泰德文巴九灵一枚硬币,面额最大能有多少?在当今世界主要经济体中,日本和韩国的硬币面值算是大的单位都是500如果算上历史,1923年德国威斯特法
联想携手中国移动打造千元5G爆款,深化助力5G普及2021年是我国十四五战略规划的开局之年,科技发展在新开局中占据了核心地位,而与5G相关的各项技术各大产业更是成为重中之重。就消费领域而言,5G手机是加速5G技术普及深化5G在全社
莱克立式吸尘器,使用轻便,哪怕女性也可轻松使用都说懒惰是促进科技发展的一大动力,如今看来我们的生活中确实多了很多家用电器,科技带来了实实在在的改变。但人们对于生活质量的要求也一直在变,从无到有的转变,再到从有到精致的上升,这也
帝豪现金优惠1。5万综合优惠25000元深圳深意吉利汽车全系底价促销,恭迎到店品鉴!近期购帝豪优惠政策如下1。现金优享国六现金优惠至高19000元2。金融优享4500元贴息3。置换优享3000元置换补贴4用车礼用车无忧卡