从零开始学爬虫创建模板
【场景描述】 创建模板:对需要采集的网站,首先梳理网站的层级结构,以确定在软件中需要配置几层模板。
【创建步骤】
从网站入口页到目标数据页,一共需要跳转几层不同网页结构的页面,通常就需要几层模板。每个模板代表了一个不同网页结构层级的页面,配置后就可以采集全站数据。
【列表页1】
列表页网页结构如图列表页1所示,其对应创建的模板为:"默认模板:01"。
【数据页1】
如图数据页1,数据页网页结构与列表页1的网页结构不同,则此时需新建模板:"默认模板:02"。
1.添加模板
在模板列表的右键菜单,点击"添加采集模板"即可添加一层模板。
【添加采集模板】
点击模板,会跳转到该模板的配置界面,进行模板属性的配置。
【模板配置界面】
2.抽取链接/数据
根据页面内容,确定每层模板的抽取目标,每层模板都可以创建多个抽取。
①抽取链接:需要抽取页面上的链接时,选择创建链接抽取。如抽取该页面的链接列表和翻页,则创建两个链接抽取。
②抽取数据:需要抽取页面上的数据时,选择创建数据抽取。一个数据抽取对应着一张数据表,通常一个模板只需要一个数据抽取。
如果需要添加新的链接抽取和数据抽取,可按下方如图所示进行添加:
【添加链接抽取】
【添加数据抽取】
3.示例地址
示例地址是该模板众多页面的一个示例代表,以该网址作为样例进行模板配置。通过对示例地址的配置,可以抓取与该地址在同一层级、具有相似结构的页面数据。一个模板只能填写一个示例地址。
对于模板1和其他模板,示例地址的填写有如下区别:
①模板01:示例地址默认填写为该任务的采集地址。
②其它模板:手动从众多网址中挑选一个粘贴进来。
上海最具吸引力的建筑,嘉定这家上榜近日,上海一份调研和一项世界评奖引人注目。上海首次发布的建筑可阅读吸引力指数调研结果表明,对市民和游客最具吸引力的建筑大多是历史建筑。这些建筑承载着厚重历史,抑或与人产生互动。它们
美媒中国重新开放将提振低迷的世界经济随着中国人自疫情以来首次收拾行李出境旅行,航空旅游和教育等服务行业将感受到增长的动力。东南亚依赖旅游业的国家可能是最先注意到这种复苏的,而发达经济体也将从中国游客的回归中受益。中国
林志颖全家飞巴厘岛度假,Kimi帮妈妈拍照,39岁陈若仪又瘦又美去年7月林志颖在参加比赛的途中发生了重大车祸,在经过近半年的复健之后,林志颖身体已基本痊愈。曾表示康复后最想做的事就是带家人去旅游的林志颖,他的愿望终于实现了!1月17日深夜,林志
今天开放!这些人免费游今天(18日)东湖梅园上新开园2023武汉东湖梅花节正式开幕将为游客带来精彩纷呈的春节梅好生活2023年武汉东湖梅花节1月18日正式开幕。王彬摄蜡梅已进入盛花期梅花,是中国十大名花
20余场活动等你来!地点就在昆明南屏街云南人对于雪的热爱,就好比北方人对春城的向往。在春城的暖冬里,昆明南屏街开启了一场造雪计划。1月17日晚,在南屏街七彩云南颂福墙前,一场毫无征兆的降雪给了人们无限的惊喜,漫天飞舞的
非洲奔放部落,女性终生不穿衣,男女关系随便现在人们的生活好了,越来越多的人都开始愿意更好的享受生活,比如出去旅旅游,去看看外面的世界。(此处已添加小程序,请到今日头条客户端查看)特别是近些年来出国旅游十分的受欢迎,大家都愿
新能源汽车出口市场,助力自主品牌打下半壁江山面对需求收缩供给冲击预期转弱三重压力,2022年我国汽车行业仍保持了增长态势,全年汽车产销稳中有增。1月12日,中汽协副秘书长陈士华表示,我国汽车产销总量实现连续14年稳居全球第一
文明新风润淮南让烟火气氤氲出文明风改造后的桂苑农贸市场逛起来令人清爽舒心让烟火气氤氲出文明风走进谢家集区桂苑农贸市场,干净整洁明亮的市场环境令人清爽舒心。市场内,讲文明树新风诚信经营等标语随处可见。摊位物品摆放整齐
李小冉气质不一般,随便一穿就美得惊艳脱俗,刘涛马苏也成绿叶女人到了五十岁,各方面条件都开始变差,包括但不限于长相身材等。只有对自我要求严格,高度自律的女人,才能在五十这个关口,依然散发出女性的魅力。气质女神李小冉出席活动,年近50岁的她,
IT界传奇抵抗微软20年,拒其500万年薪,打下江山后留给了雷军过去20年,中国互联网可谓打得不可开交。1998年,马化腾创建腾讯1999年,马云创办阿里巴巴2009年,李开复离开微软,建立天使投资2010年,雷军携小米强势到来。然而,在这混乱
2022年全国百强县出炉,苏浙鲁霸榜远超半壁江山!总第412篇原创作品,感谢关注和支持,欢迎一起探讨。一前言引题郡县治天下安,县委级父母官在国家治理体系中承担着至关重要的职能,县域治则国家治,县域强则国家强,县域发展是国家长治久安