还在为小视频被删不能看发愁,一招教你全部采集
前言:
嗨喽!大家好呀, 这里是魔王~
采集所有你喜欢的作者视频, 全部下载到本地慢慢看 知识点:动态数据抓包 动态页面分析 requests携带参数发送请求 json数据解析 开发环境:python 3.8 更加新 稳定 运行代码 pycharm 2021.2 辅助敲代码 requests 第三方模块 python爬虫案例:
批量采集网络当中数据内容(文字, 图片, 视频, 音频) Python 批量下载视频:一. 数据来源分析(思路分析)二. 代码实现发送请求 访问网站 获取数据 解析数据 去除不想要的内容 发送请求 访问网站 获取数据 视频数据 保存视频 翻页爬取 代码import requests # 发送网络请求模块 import re url = "https://www.kuaishou.com/graphql" # 伪装 headers = { # 控制data类型 json类型字符串 "content-type": "application/json", "Cookie": "kpf=PC_WEB; kpn=KUAISHOU_VISION; clientid=3; did=web_ea128125517a46bd491ae9ccb255e242; client_key=65890b29; userId=270932146; kuaishou.server.web_st=ChZrdWFpc2hvdS5zZXJ2ZXIud2ViLnN0EqABnjkpJPZ-QanEQnI0XWMVZxXtIqPj-hwjsXBn9DHaTzispQcLjGR-5Xr-rY4VFaIC-egxv508oQoRYdgafhxSBpZYqLnApsaeuAaoLj2xMbRoytYGCrTLF6vVWJvzz3nzBVzNSyrXyhz-RTlRJP4xe1VjSp7XLNLRnVFVEtGPuBz0xkOnemy7-1-k6FEwoPIbOau9qgO5mukNg0qQ2NLz_xoSKS0sDuL1vMmNDXbwL4KX-qDmIiCWJ_fVUQoL5jjg3553H5iUdvpNxx97u6I6MkKEzwOaSigFMAE; kuaishou.server.web_ph=b282f9af819333f3d13e9c45765ed62560a1", "Host": "www.kuaishou.com", "Origin": "https://www.kuaishou.com", "Referer": "https://www.kuaishou.com/profile/3xauthkq46ftgkg", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36", } def get_page(pcursor): # 需要的数据得指定好 # 递归, 自己调用自己 跳出递归 data = { "operationName": "visionProfilePhotoList", "query": "query visionProfilePhotoList($pcursor: String, $userId: String, $page: String, $webPageArea: String) { visionProfilePhotoList(pcursor: $pcursor, userId: $userId, page: $page, webPageArea: $webPageArea) { result llsid webPageArea feeds { type author { id name following headerUrl headerUrls { cdn url __typename } __typename } tags { type name __typename } photo { id duration caption likeCount realLikeCount coverUrl coverUrls { cdn url __typename } photoUrls { cdn url __typename } photoUrl liked timestamp expTag animatedCoverUrl stereoType videoRatio profileUserTopPhoto __typename } canAddComment currentPcursor llsid status __typename } hostName pcursor __typename } } ", "variables": {"userId": "3xauthkq46ftgkg", "pcursor": pcursor, "page": "profile"} } if pcursor == None: print("全部下载完成") return 0 # 1. 发送请求 访问网站 response = requests.post(url=url, headers=headers, json=data) # 2. 获取数据 .json .text .content json_data = response.json() # 3. 解析数据 去除不想要的内容 feeds = json_data["data"]["visionProfilePhotoList"]["feeds"] # 下一页需要的参数 pcursor = json_data["data"]["visionProfilePhotoList"]["pcursor"] # print(pcursor) for feed in feeds: caption = feed["photo"]["caption"] # 标题 photoUrl = feed["photo"]["photoUrl"] # 视频链接 # : 转义字符, 直接写 匹配不到 # 才能匹配到 # 用css和xpath 是必须要你拿到的数据是一个网页源代码 caption = re.sub("[/:*?"<>| ]", "", caption) print(caption, photoUrl) # 4. 发送请求 访问网站 视频链接 # 5. 获取数据 视频数据 拿到的是视频二进制数据 video_data = requests.get(url=photoUrl).content # 6. 保存视频 通过二进制的方式保存 with open(f"video/{caption}.mp4", mode="wb") as f: f.write(video_data) print(caption, "下载完成!") get_page(pcursor) get_page("") 视频教程
https://www.bilibili.com/video/BV1zY4y1v7GT?share_source=copy_web 尾语
好了,我的这篇文章写到这里就结束啦!
有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง
喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!
12256GB努比亚Z40Pro,比8128GB华为P50E便宜,谁更值得入手?12256GB努比亚Z40Pro,比8128GB华为P50E便宜,谁更值得入手吗?这两款手机的定位不同,努比亚定位为今年的拍照旗舰机,而华为P50E是一款中端机,没有可比性,但其价
孟晚舟华为提高了应对不确定性的能力3月28日,在深圳总部举办的2021年度经营财报发布会上,华为CFO孟晚舟表示,2021年我们的营业额减少了,但我们的盈利能力和现金流获取能力都在增强,公司应对不确定性的能力在不断
为什么现在市面上收购老酒的人越来越多了?大佬圈流传一句话,茅台之上唯有老酒!现在权贵阶层消费观念发生了很大的变化,对白酒的认识也更多了,懂得了老酒的价值,需求也就越来越大。老酒市场价格不像新酒价格那么透明,逐利空间也更大
可以推荐cd机吗?九十年代的时候,HiFi风很盛,那时主要由香港的音响代理商过来广州推广。当年算是发烧级入门的CD机,飞利浦有较好的声誉,就当年的数码技术而言,确是领先。所谓的比特流技术是它的卖点,
反渗透净水器,到底该选有罐机还是无罐机反渗透净水器分带罐和不带罐两种关于该买带罐的,还是买无罐的,很多朋友都会非常纠结因为带罐的一般价格实惠一些,无罐机往往价格比较贵,而现在很多商家都极力宣传无罐机比有罐机好。事实上,
8848推出5G旗舰,6。01英寸真皮机身,8256G现在降1000现在的社会中,智能手机已经成为每个人必备的电子产品!随着手机厂商们不断在手机上推陈出新,用户对于手机的需求也在逐渐发生变化,这样说吧,如今大家不仅希望手机满足通讯功能,还要在娱乐办
各手机厂商最成功的手机华为Mate20Pro处理器麒麟980屏幕6。39英寸OLED屏电池4200mAh充电40W无线15W反向5W拍照前置2400万3D结构光深感摄像头后置4000万2000万800万
诺基亚X22渲染图曝光,后置超大镜头,梦回Lumia时代虽然诺基亚在智能手机市场已经没什么存在感,份额也几乎可以忽略不记,但仍然有不少网友对于诺基亚手机有着期待,近日在网上就曝光了一组诺基亚X22的渲染图,虽然说只是概念设计,但是确实很
家用旗舰款投影内卷结果极米H3S坚果J10S当贝F5,谁最佳?经历了三天的宅家假期,小编收到好多朋友的来信,说想买一台投影仪,在坚果10S极米H3S和当贝F5之间举棋不定,今天就让我们一起来看看从真实使用体验上,当贝F5和极米H3S和坚果J1
iOS15。5来了,更新Apple今日凌晨正式向所有果粉们推送了iOSiPadOS15。5第一个Beta更新,版本号19F5047e。本次更新,没有出现吸引果粉的新功能,刚刚更新完第一感觉流畅一些发热好一
iOS15。5发布更新苹果官宣iOS16发布时间4月6日凌晨,苹果发布了iOS15。5的首个测试版,同时公布了WWDC22的具体时间。苹果发布iOS15。5今日凌晨苹果发布了iOS15。5的首个测试版,即iOS15。5beta1