前言 我们这次主要实现对 Ajax 数据的爬取，网站链接为:https://spa1.scrape.center，该实例网站的数据是通过Ajax 完成的，页面的内容是通过JaveScrip渲染出来的，如下图所示： 我们这次爬取的数据包括电影的名称、封面、类别、上映日期、评分、剧情等信息。需要将数据爬取下来然后保存在 MongoDB 数据库中。 爬取过程 我们通过 requests 直接提取页面，在提取的结果中只有一点 HTML 内容，主要是一些 javascript和css文件，并没有观察到任何电影数据信息。遇到这种情况，说明我们看到的整个页面都是JavaScript渲染得到的，里面的电影数据一般是通过 Ajax 加载的，JavaScript在后台调用 Ajax 数据接口，得到数据之后，再对数据进行解析并渲染呈现出来。想要爬取这个页面数据，直接爬取 Ajax 接口，再获取数据就好了。 爬取列表页 我们分析列表页的 Ajax 接口逻辑，打开浏览器开发者工具，切换到 Network 面板，勾选 Preserve Log并切换到 XHR 选项卡，接着重新刷新页面，再点击第二页，这时可以观察到不仅页面上的数据发生了变化，开发者工具下方页监听到几个Ajax请求，如下图所示: 我们点开一个Ajax请求，其接口的请求 URL为: https://spa1.scrape.center/api/movie/?limit=10&offset=20，通过观察多个 Ajax 接口的参数，我们总结出这么一个规律，limit 一直为10，正好对应每页10条数据，offset 再依次变大，页数每加1，offset 就加10，因此其代表页面的数据偏移量。这样的话，我们只需要构造出所有页面的 Ajax 接口，就可以轻松获取所有页面的数据了。 我们先定义一个 scrape api 方法，这个方法用来实现对一个 Ajax 接口数据的获取，这是一个通用的方法，返回的内容为一个 JSON 字符串。 接着我们定义一个爬取列表页的方法:acrape index，它接收一个参数page，该参数代表列表页的页码。 这样我们就完成了列表页的爬取，每次发生 Ajax 请求都会得到 10 电影数据信息。 爬取详情页 虽然我们已经可以拿到每一页的电影数据,但是这项数据实际上还缺少一些我们想要的信息，如剧情简介等，所有需要进一步进入详情页来获取这些内容。以查看列表页同样的方法查看详情页调用的Ajax接口,可以发现详情页的接口URL为: https://spa1.scrape.center/detail/40，后面的40为每部电影的id，接着，我们就定义一个详情页的爬取逻辑，定义一个scrape_detail 方法，它接收一个参数id，先构造一个真实的详情页 Ajax 请求的 URL，再直接调用 scrape api 方法传入这个url 即可。 保存数据 我们将数据保存在 MongoDB数据库中，具体代码如下: 最后定义一个总的调用方法main： 运行脚本,可以看到爬取成功,并成功存储数据,没有任何报错信息。
用了半年的苹果，电池健康依然满血！如何缓解电池老化？苹果新品就要发布了，在发布新品之前我想跟大家探讨一个问题，就是你正在使用的苹果手机，电池健康容量还剩下多少呢？在设置电池电池健康中，就可以看到苹果手机的电池最大容量。我们一开始购买5G版华为P50突然上线骁龙888个性化定制，或4688起步不可否认，如今的手机市场同质化十分严重，虽说有折叠屏这样的新概念，但价格并不是所有人都能承受得住的，剩下的那些产品，我们往往会发现换个品牌，换个型号，似乎体验也都差不多。不过，一些魔兽前夕升级实用WA，抢怪助手和任务物品自动使用（搬运）9月1日升级大军浩浩荡荡，每一次升级总会遇到一些很繁琐的操作，然而很多朋友，比如我的键位都是一只手俺不过来的，都是通过改建，设置宏尽量让手掌能够到该按键，别提任务道具还要单独拉在技传奇3光通版高爆率，光通1。45版本，屠龙决战沙城，内含礼包昔日兄弟，再战传奇。热血传奇，激情PK。千人跑船，再现经典。全新玩法，独特体验。还原当年1。45版本重现当年经典跑船画面场景，延续传统，超高人气，超高爆率，首饰合成玩法，简单粗暴，如何白嫖加速器让你在玩游戏时更爽？进来一键搞定众所周知玩外服，几乎每一个人都会去寻找一款适合自己的加速器，加速器对游戏玩家来说是必不可少的，特别是联机游戏3A大作，不然别说是游戏界面你无法打开，就连社区商店steam官网你都打中超大势谁会成为武汉三镇山东泰山争冠二人转的搅局者？2022赛季中超联赛进行到14轮，说争冠形势渐趋明朗为时尚早，但说已初现端倪绝不为过。升班马武汉三镇越战越勇，屡战屡胜，目前以13胜1平积40分的战绩高居榜首，如能延续这种态势，那1年590万！湖人补强短板？那对抗快船的资本就有了对于处在合同年的球员来说，有两点要格外注意其一，不要受伤其二，有稳定的表现机会。合同年如果遭遇伤病的话，大概率是和大合同无缘了。以科林塞克斯顿为例。本赛季因为伤病仅仅出战了11场就比尔森胜利我太难了当地时间本周四，欧足联在伊斯坦布尔举行了202223赛季欧冠联赛分组抽签仪式。此前，经过资格赛和附加赛的争夺，本菲卡格拉斯哥流浪者萨格勒布迪纳摩哥本哈根比尔森胜利海法马卡比获得了正摊牌了！曝大巴黎2将拒绝离队，混2年工资，免费走人，得罪了姆总近日，根据法国媒体RMC的报道，大巴黎正在积极的清理冗员，其中埃雷拉将解约离队，回归毕尔巴鄂竞技，格耶也在离队的路上，他的潜在下家是埃弗顿。该媒体还透露，德拉克斯勒跟伊卡尔迪不打算英超曼城vs水晶宫英超霸主证明实力，还是水晶宫拿下曼城主场？英超曼城VS水晶宫8月27日晚间2200曼城上场比赛战平纽卡，作为现在欧洲，乃至世界上最强的足球俱乐部第一，与实力差距明显的纽卡打平，显然球迷，教练，乃至球员都不能接受。现在曼城急速干不伤发！这5款电吹风有颜值更有实力很多人花了好多钱和精力在洗发护发上，但其实干发也是很重要的一环。市面上不少电吹风为了达到速干目的，采用热风烘干，对发质是真的很伤！接下来给大家推荐5个速干不伤发的电吹风品牌，大风力Nature海洋酸化导致硅藻数量减少2022年5月25日，自然（Nature）刊登了一项由德国基尔亥姆霍兹海洋研究中心（GEOMARHelmholtzCentreforOceanResearchKiel）牵头完成的新北京一家三口北戴河旅游第3天，吃顿奢侈自助餐，218实现海鲜自由从海边回来路过阿那亚附近这家海鲜自助餐厅时就被门口满满当当的停车场惊到了，近三年没见到过这种门庭若市的场景了，瞬间让我想起葛优葛大爷说过的话到了饭点儿不知道去哪吃？哪家人多去哪家啊新能源汽车大会万钢我国新能源汽车区域发展不均衡现象需重视新京报贝壳财经讯（记者张冰）8月27日，在2022世界新能源汽车大会全面电动化与绿色低碳转型主论坛上，全国政协副主席中国科协主席世界新能源汽车大会主席万钢表示，新能源汽车持续保持快7百万年前古人类迈出第一步英国自然杂志近日发表的一项古生物学报告，科学家对腿部和前臂化石的分析，已知最早的人属乍得沙赫人，在700万年前用双足行走。这些发现建立在之前得出类似结论的分析之上。2001年，在乍中国尼泊尔从珠穆朗玛峰顶峰上端400米拍摄的影像编译Mintina照片提供httpsunofficialnetworks。com2022年5月27日，一支摄影师组成的团队在珠穆朗玛峰上端海拔超过9，200米高度遥控一架无人驾驶直32寸4K高刷MiniLED屏，视觉体验再提升显示器一定要用大的，用了就回不去了。专注于电竞显示器的泰坦军团，近期推出了一款全新32寸显示器P32A6V，在提供了4K分辨率和144Hz刷新率等旗舰级配置的基础上，更是用上了Mi小米MIUI扫一扫升级为小爱视觉，原AI通话改为小爱通话IT之家8月26日消息，小米今日发布公告，宣布AI通话正式升级为小爱通话。据介绍，此次改版默认移除了手动接听时的通话转文字功能，改为需要去设置手动开启后才能使用，进一步降低了新用户黄金魁犬序章试玩报告好玩，期待就完事了可能是刻板印象的缘故，黄金魁犬序章那过于引人注目的美术风格，总让我想起美术同样出色的极乐迪斯科与诺科尤其是它们都有着相似的剧情脉络，并致力于挖掘反乌托邦的内核。种种接近的线索之下，太阳正在悄悄地变化，留给人类的时间，根本就没有50亿年我们常说，地球是人类赖以生存的家园，但是除了地球，我们的生存同样也离不开太阳，可以说，没有太阳，就没有地球生命，不得不说，这颗发光发热的恒星对地球生物来说实在是太重要了。天文学家根出伏后，宁不吃肉，也要吃5种ampampquot高钙菜ampampquot！孩子猛长个，身体更强壮老话说转骨趁秋天，孩子的身高永远都是家长最关心的问题，秋天已至，孩子们将迎来一年中第二个长个儿高峰期。家长们一定要抓入秋季长高黄金期，多给孩子吃这5种高钙菜，每天换着炒，孩子爱吃长带你全面了解0。01阿托品为什么有的孩子使用后效果不理想？孩子患上近视，想使用0。01阿托品来控制，但是又不知道这药是否真的有效，下面让我们一起来全面了解低浓度阿托品，了解之后再做决定也不迟。什么人群适用0。01阿托品目前，0。01阿托品