利用xpath爬取小说
import requests from lxml import etree #记得最好带上cookie,防反爬 headers={ "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36", "cookie": "Hm_lvt_abd9138f12b1f7c9a31eaf6edd1064bc=1648287111,1648384051; visittime=articlevisited; Hm_lpvt_abd9138f12b1f7c9a31eaf6edd1064bc=1648385331", } #从网页中分析得到小说链接的构成为url+next_url url="https://motiezw.com" next_url="/book/10565/7254309.html" end_next_url="javascript:void(0);"#从网页分析得到最后一个链接 while True: page_text = requests.get(url=url + next_url, headers=headers).text tree = etree.HTML(page_text) #获取下一页/章链接 next_url =tree.xpath("//a[@id="next_url"]/@href")[0] #获取到每个章节的标题 name=tree.xpath("//p[@class="reader-main"]//h1/text()")[0] #打开文件,并用追加模式写入标题, 编码格式utf-8 fp=open("庶难从命.txt","a",encoding="utf-8") fp.write(name) #获取到小说正文是列表,遍历后写入刚才打开的文件中 content_list=tree.xpath("//article[@id="article"]/p//text()") for content in content_list: fp.write(content+" ") fp.close() #下完后关闭文件 print(f"第{name}下载完成") if next_url==end_next_url: #进行判断,退出循环 break print("整本下载完成")
传统企业转型升级困难?开辟亚马逊市场大有可为很多传统企业,都面临转型升级困难的问题。传统企业,客户的开发渠道比较单一,对B2B依赖性太强。B2B意味要背负物流门店人员工资等成本。从工厂到客户手中,经过层层盘剥,价格已提升了几
融皓科技亚马逊运营公司的爆款listing都是如何打造的?融皓科技亚马逊运营公司打造一个月销售额过10万刀的爆款listing,只要23天!而且他们是怎么做到的呢?扫地僧今天给大家揭秘一下,这种神秘的方法,可复制,可以流程化,记得收藏。第
为什么M1Mac在日常使用中能击败IntelMac在日常实践中,M1Mac的使用者会很快注意到他们的ARMMac速度异常快。主要原因之一与新CPU的设计有关。诸如Geekbench之类的测试工具可以清楚地证明M1Mac是一台非常快
华为人力资源管理体系全套资料汇总(薪酬绩效招聘培训等)向小米学营销,向华为学管理,向三星学变革这是管理界经常听到的一句话华为,无疑是中国企业的璀璨明珠和标杆,其骄人业绩的背后,是强大的内部管理和文化在支撑。华为的管理已经成为无数管理者
华为新员工入职180天详细培养计划,拿来即用!华为新员工一般入职3个月后就能很好地融入公司,像正式员工一样工作。以战代训训战结合是华为员工培训的特点。在新员工入职前180天里,华为有什么系统的员工培训方法呢?新员工前6个月的培
定了!新个税的个人申报系统网页和手机端操作手册一功能介绍自然人税收管理系统网页端和手机端,上线业务功能包括自然人实名认证自然人信息采集自然人信息变更及找回密码等用户管理配套功能。二上线时间于2018年10月25日000在全市范
社保减免政策再延长!执行期截止到2022年恭喜!社保优惠政策延长至2022年!1月26日,人力资源和社会保障部养老保险司司长聂明隽表示,考虑到疫情风险仍然存在,部分企业压力可能较大,规定阶段性降低失业保险工伤保险费率政策今
再见了,陈道明作者格物三三来源格物读书(IDgewuliangzhi)最近,热播剧流金岁月迎来了大结局,陈道明所扮演的叶谨言,受到了大家的一致好评。他只要出演,就是品质的保证。评论区里,没有撕逼
打造团队高效执行力,必须绕过10个坑执行力是团队精神的核心灵魂,是团队战略规划转化成为成果效益的关键。在21世纪,执行力成为企业竞争力的重要一环。一个企业执行力如何,将决定企业的兴衰。因此,要打造优秀的团队首先就要执
华为识别人才,关键看5个素质如今的华为,良将如云。比如当下活跃在全球化舞台上的领军者们,轮值董事长郭平徐直军胡厚崑以及余承东何庭波徐文伟李杰丁耘吕克等,都是在20世纪90年代或者更早加入华为的。是什么样的素质
海氏岗位价值评估。xlsxHR在设计薪酬的时候需要遵守一些原则,比如对外要有竞争性,对内则要有公平性。在讲到对内要有公平性的时候就不得不提到岗位的价值评估。岗位价值评估的方法有很多,而海氏岗位价值评估法(H