汽车何其多,python真无敌,采集数据信息
前言
嗨喽!大家好呀,这里是魔王~** 课程亮点:系统分析目标网页 html标签数据解析方法 海量数据一键保存 环境介绍:python 3.8 pycharm 2021专业版 >>> 激活码 requests >>> pip install requests parsel >>> pip install parsel 模块安装:
按住键盘 win + r, 输入cmd回车 打开命令行窗口, 在里面输入 pip install 模块名代码实现:发送请求 (访问网站) 获取数据 网页源代码 解析数据 (网页构造, css样式选择器) 保存数据 数据库:oracle 方言 mysql 方言 sqlserver 方言 SQL: 普通话 代码import requests # 发送请求 第三方模块(基于urllib开发模块) 额外安装 pip install 模块名 import parsel # 解析数据模块 第三方模块 额外安装 pip install 模块名 import csv # 内置模块 不需要你额外安装 # 伪装 请求头 request headers headers = { # 用户基本信息, 没有登陆信息 "Cookie": "fvlid=1644577630437PyNsv7r4UeWZ; che_sessionid=6033453E-99CD-4D18-9EC6-26D8D81CB82E%7C%7C2022-02-11+19%3A07%3A13.352%7C%7C0; sessionid=1510cb04-9fdd-428f-82f7-d7b77ccae016; area=430103; sessionip=175.0.63.33; sessionvisit=98f1634e-6cbb-4f5e-97f9-6af88e5b8d33; sessionvisitInfo=1510cb04-9fdd-428f-82f7-d7b77ccae016|www.autohome.com.cn|100533; Hm_lvt_d381ec2f88158113b9b76f14c497ed48=1650521306; che_sessionvid=6223C48B-0DCD-4485-8DB7-B9A2D39AC7FF; carDownPrice=1; listuserarea=0; UsedCarBrowseHistory=0%3A43390985%2C0%3A43390239%2C0%3A43268434%2C0%3A43010424; userarea=0; ahpvno=23; Hm_lpvt_d381ec2f88158113b9b76f14c497ed48=1650523580; ahuuid=46A0D5A6-5C39-4735-A5CE-3F6DA42672C9; showNum=52; v_no=36; visit_info_ad=6033453E-99CD-4D18-9EC6-26D8D81CB82E||6223C48B-0DCD-4485-8DB7-B9A2D39AC7FF||-1||-1||36; che_ref=www.autohome.com.cn%7C0%7C100533%7C0%7C2022-04-21+14%3A46%3A20.424%7C2022-02-11+19%3A55%3A59.495; sessionuid=1510cb04-9fdd-428f-82f7-d7b77ccae016", # 浏览器基本信息 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36" } # z = 1, y = 2 url = "https://www.che168.com/china/list/" # 1. 发送请求 (访问网站) # # 打印 # print(url) # 发送请求 方式 response = requests.get(url=url, headers=headers) # 2. 获取数据 网页源代码 html_data = response.text # 3. 解析数据 (网页构造, css样式选择器) # 数据分析 # 网站开发 >>> 都有 # 人工智能 # html(存储数据) + css(样式) + js(可以实现动态的效果) # # 车辆信息 # # # 车主信息... # # selector = parsel.Selector(html_data) # python 数据容器 列表 [1,3,4,5,6] # 我要用别名去取值 lis = selector.css(".viewlist_ul li") for li in lis: card_name = li.css(".card-name::text").get() cards_unit = li.css(".cards-unit::text").get() price = li.css(".pirce em::text").get() img_url = "https:"+li.css(".img-box img::attr(src)").get() if price == None or price == "": price = li.css(".pirce::text").get() print(card_name, cards_unit, price, img_url) # 4. 保存数据 with open("汽车之家.csv", mode="a", encoding="utf-8", newline="") as f: csv_writer = csv.writer(f) csv_writer.writerow([card_name, cards_unit, price, img_url]) 尾语
好了,我的这篇文章写到这里就结束啦!
有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง
喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!
想买一个家庭用的打印机,也不知道买个什么样的好,有没有哪位大师懂?最近一段时间,回答了七八个关于家用打印机的问题。今天的这个还是这类的问题。下边我详细回答一下,到底家用打印机应该选择那类机型。我们从家用打印机的使用范围,看一下。家用的打印机,主要
现在装电信宽带要多少钱一个月?您好,中国电信的美好家套餐有7档可选,229档以及上可享千兆宽带,需要看用户选择的档次了。电信宽带有多种套餐,不同套餐对应的资费是不同的,另外不同地区的电信宽带套餐资费及优惠也有所
小米MIX4后再无厂商跟进屏下摄像头手机,是否说明屏下方向错了?文小伊评科技方向确实错了。倒是有厂商跟进屏下摄像头,譬如最近发布的中兴AXON30屏下版以及即将发布的AXON40都会搭载类似的技术。不过我们也需要看到,虽然仍有品牌发布采用类似技
华为手机照相添加水印有什么作用?现在除了华为手机,OPPOvivo小米的手机都可以自动添加机型水印,主流的手机当中可能只有苹果没这个功能。不过华为手机的水印并不是默认开启的,必须用户手动开启才会显示出来。具体的方
苹果手机隐私安全比国产手机强很多吗?说实话苹果的系统确实好用,但近年来国产系统的功能也太丰富了点,现在在我这五五开只能说。特别是隐私安全方面,我觉得国产的确实做的很不错,就拿我对象用的OPPOFindX5Pro的Co
苹果iPhone13pro安兔兔跑分1009068正常吗?iPhone13Pro是一款可以给朋友们带来极致享受的手机,性能强悍,优化极致,堪称一经典,是果粉们的最爱之一,很多友友们也很在乎这款手机跑分多少合适?下面介绍下,这款手机的具体参
新共委全称是什么,是个做什么的机构?新共委成立的目的是发展示范集体经济,创新集体资本市场,倡导企业社会责任,聚合跨盈共富体系,全面落实乡村振兴,实现全民共同富裕!新共委致力于帮助政府和企业之间企业和企业之间企业和全民
线上办公协同有哪些工具可以推荐?推荐我们团队正在使用的无忧企业文档,它是一款企业级在线文档,可以协同办公,支持多人在线同时编辑,信息实时同步,私有化部署,支持开源,成本低,是中小企业不错的选择。产品功能方面集成多
你如何看待所谓机械化自动化智能化能解决一切人口问题的思潮?AI取代了人类,所以解决了一切人类问题不只是人口哦。三十年前的人们还以为到了二十一世纪机器人就能普及,但是到了现在机器人普及了吗?现在谈论得比较多的是人工智能,有人认为人工智能会取
网付怎么样?网付为温州专帮信息科技有限公司旗下聚合支付品牌,属于第四方线下支付行业头部企业,在支付领域占据着较强的市场份额。网付是两大支付平台官方授权服务商,享有官方活动资质特权,深耕支付领域
苹果AppStore应用年交易额100万美元以下需缴15佣金财经网科技4月19日讯,据IT之家消息,苹果去年推出了支持小企业和独立开发者的应用商店小企业项目(AppStoreSmallBusinessProgram),将应用内年交易额在10