原创PHP实战获取指定网站的内容
数据采集采集原理分析
数据采集是指获取指定网站的内容(比如小说的标题、简介、作者、图片等信息),之后将其存入数据库中,采集步骤如下:
第1步:获取指定网址的数据
http://www.qidian.com?id=1&articleid=6
获取数据可以使用如下函数:
(1) file_get_contents()函数
(2) fopen()函数、fread()函数
(3) curl()函数
(4) snoopy类
第2步:提取所需内容,使用preg_match_all()函数获取匹配的数据
使用正则表达式获取需要采集的特定内容,获取与表中字段对应的内容。
第3步:分类存储至数据库中(入库)
将上一面获取的数据存放数据表中。
第4步:从数据库中读取数据
第5步:展示读取出的数据正则表达式
使用正则表达式可以匹配、检索字符串。
$reg="/^….$/";
$reg="#^….$#";量词
· + 匹配任何至少包含一个前导字符串
· * 匹配任何包含零个或多个前导字符串
· ? 匹配任何包含零个或一个前导字符串
· . 匹配任意字符串
· {x} 匹配任何包含x 个的前导字符串 /y{3}/ yyy
· {x,y} 匹配任何包含x 到y 个前导字符串/y{2,5}/
· {x,} 匹配任何包含至少x 个前导字符串/y{2,}/
· $ 匹配字符串的行尾 /abc[0-9]$/
· ^ 匹配字符串的行首
· | 匹配字符串的左边或者右边(或)
· ()包围一个字符分组或定义个反引用,可以使用$1,$2 提取 ([0-9]{3}-[0-9]{8})+
.*可以匹配任意字符串(因为.匹配任意字符,*表示任意个)元字符
· [a-z] 匹配任何包含小写字母a-z 的字符串
· [c-g] 匹配c,d,e,f,g[3-7]
· [A-Z] 匹配任何包含大写字母A-Z 的字符串
· [0-9] 匹配任何包含数字0-9 的字符串
· [bek] 匹配任何包含小写字母b、e、k的字符串,只要字符串中含有b、e、k中的任意一个就算匹配到goo[bek]d
· [^bek] 只要有不含b、e、k的字符都能匹配
· [a-zA-Z0-9_] 匹配任何包含a-zA-Z0-9 和下划线的字符串
· w 匹配任何包含a-zA-Z0-9 和下划线的字符串(同上)
· W 匹配任何没有下划线和字母数字的字符串,和w相反
· d 匹配任何数字字符,和[0-9]相同
· D 匹配任何非数字字符,和[^0-9]相同
· s 匹配任何空白字符
· S 匹配任何非空白字符
· b 匹配是否到达了单词边界/abcb/helloabcgood
· B 匹配是否没有达到单词边界
· 匹配正则中的特殊字符修饰符
语法:修饰符放在"/"的后面/w/i
· i 完成不区分大小写的搜索
· m 在匹配首内容或者尾内容时候采用多行识别匹配
· x 忽略正则中的空白
· A 强制从头开始匹配
· U 禁止贪婪匹配只跟踪到最近的一个匹配符并结束/xo*/Uxoooobc正则相关函数
· preg_match("/正则表达式/" , 要处理的字符串);
匹配到一次就终止继续匹配,返回1;
如果没有匹配到,就一直向后找,直到字符串的末尾,如果仍然没找到,返回0。
匹配邮箱
· preg_match_all("/正则表达式/",字符串,$arr)
preg_match_all()搜索字符串所有匹配的结果,将所有匹配到的字符串放到$arr数组中。
· preg_replace("/正则表达式/", "字符串", $str);
将$str中匹配正则规则的内容用指定字符串替换。采集入库
采集网页中列表的标题和链接,获取后存入数据库。
Snoopy
snoopy类实现数据采集
output()函数的功能是格式化输出数组数据
fetch()方法
Fetchtext()、fetchlinks()、fetchform()方法
Snoopy实现表单提交和模拟登陆
Snoopy实现图片下载
cURL1. Client URL库
开启curl扩展
使用cURL完成请求的四步
第1步:初始化资源$ch = curl_init();
第2步: 设置相关的参数curl_setopt()
第3步: 发送请求curl_exec($ch)
第4部:关闭资源curl_close($ch);封装cURL函数
封装POST请求
封装GET请求
POST请求与GET请求相结合
使用cURL函数提交请求
美国向俄罗斯释放积极信号,不料盟友坐不住了这是严重错误俄罗斯作为横跨欧亚两洲的大国,对周边不少国家都有很大的影响力,其中一些国家和俄罗斯的关系比较和谐,但也有一些国家和俄罗斯关系很紧张,比如乌克兰。因为乌东问题,俄乌两国的关系越来越紧
印度要和俄罗斯反目?印外长访问与俄敌对国家,重要信号不容忽视长期以来,俄罗斯和印度之间的关系一直都比较紧密,印度作为世界军售市场上有名的提款机,向俄罗斯支付了大量外汇购买了大批的武器装备,而俄罗斯受经济以及政治因素影响,也不介意对印度施加一
那些即将改变我们生活的高科技,杀出重围的8K技术必须提名前段时间在看新闻时看到这样一个视频,视频中的三个男子坐在一辆特斯拉的车上,端着酒杯谈笑风生。令人惊掉下巴的是驾驶座位上并没有人在开车视频中的小伙开启了特斯拉的自动驾驶功能,一时间马
电视画质技术百花齐放,其中8K的实力不容小觑电视画质技术百花齐放,不过最有用的技术竟然是这项?!不知道你们曾经在手机上或者平板上看电影或者电视剧的时候,是否会特别注意画质的选择?例如蓝光1080P还有一直较火的HDR画质技术
破,日本的自杀审美看日本文化破,日本的自杀审美。灾难,生命戛然而止,荒芜,苍凉,生命之自然,重建,而后又勃勃生机。像蝴蝶破蛹而出,这就是日本的美感之一,植根于灾难多发的日本。植根于一个无处可逃的岛国。人生要是
CMV22B鱼鹰运输机不同,我们的旋翼机采取不同的起飞方式美国海军的卡尔文森号航母战斗群改造完毕,这将是美国海军首个部署F35C舰载战斗机和CMV22B舰载运输机的航母战斗群。去年时间6月22日,首架CMV22B鱼鹰运输机抵达美国加州圣迭
珠海航展歼16与歼10Ce都来了,但他们出场的方式却是大相径庭珠海航展,歼10Ce来了,犹抱琵琶半掩面,露出半截身躯,身上还披着薄纱,一句话,什么都看不清。相反,歼16也来了,但它大大方方直接飞过来的,所不同的是,它与以往的歼16不同,翼尖多
居安思危,日本加强对芯片原材料的控制来源内容综合自南华早报和日经,谢谢。据南华早报报道,日本科技公司可能不再制造大部分面向大众市场的半导体,但他们正日益加强对尖端芯片所需先进材料的开发和生产的控制。至少有五家日本公司
你所不知道的牛顿第零定律在自然哲学的数学原理(1686)这部使经典力学得以完善并引发18世纪启蒙运动的巨著中,艾萨克牛顿给出了3条运动定律。牛顿著作自然哲学的数学原理今天在我们教授经典力学课程时,通常也是
为什么我们记不住将来?关于时间,最神秘的一点就是它有方向过去和将来是不一样的,这就是时间之箭。熵,用来度量物体或物体集合的无序程度。随着时间推移,熵会顽固地倾向于增加,或至少保持不变。这就是著名的热力学
物理大师薛定谔一个充满矛盾的人薛定谔的猫的模糊性也完全符合其创作者充满矛盾的生活。这位戴着眼镜,有些书呆子气的教授,也具有多种对立观点的量子叠加状态。他的生活中阴阳叠加的特性开始于他年轻的时候。他从不同的家庭成
为什么要让孩子尽早接触美术创作?如果你认为我家的孩子没有艺术细胞,不是画画的料。,或者我又不想让他(她)将来当画家,用不着学美术。那么你错了。美术教育家研究发现儿童在10岁前都有潜在的绘画能力,像走路说话一样同步
什么是好的儿童画?童真童趣,见到孩子可以在画面上见到孩子的童真,见到孩子的情感情绪,看到孩子的状态和行为,有孩子的自我认知。无论像与不像是否符合常理,只要有孩子自己对事物的观察理解和情感表达的绘画就
假如教室失重会怎么样?(青岛彩翼3年级学员作品)市南区福州南路19号泛海名人广场2号楼20032004室崂山区秦岭路19号wfc协信中心3号楼loft416室市北区黑龙江南路2号万科中心C座3楼丙35城
今日作品水滴石穿宋罗大经鹤林玉露一钱斩吏乖崖援笔判曰一日一钱,千日千钱,绳锯木断,水滴石穿。彩翼儿童美术作品出处宋罗大经鹤林玉露一钱斩吏乖崖援笔判曰一日一钱,千日千钱,绳锯木断,水滴石穿。译文宋罗
从人造眼球到人造海绵体,这种材料有什么神奇的魔力2020年6月华南理工大学施雪涛教授和美国俄克拉荷马大学毛传斌教授在自然通讯上发表论文,文中他们构建了一种表面有肝素涂层的3D打印水凝胶支架,将这种水凝胶支架植入海绵体缺损的兔模型
度假型酒店式公寓的阳台该如何设计才能显得精致夺人眼球?纵观我国南北建筑,北方四合院的内院以及南方建筑的天井在建筑中起到的作用不仅是通风采光,更是表达了对大自然的追求,暗示了我国天人合一的理念。而如今的现代城市寸土寸金,已经不允许天井或
哈里真实内心遭曝光,不甘心成二叔,怕被侄子盖过风头拼命博眼球哈里王子在退任英国王室高级成员后,并没有像他自己承诺的那样,既经济独立又支持王室,他不仅利用了父亲查尔斯王储的钱在洛杉矶购买了豪宅,还不断地出现在媒体前,和梅根一起靠着曝光王室往事
三千年前的神秘面具,光眼球就有16厘米,至今无人破解说起三星堆古遗址发掘,让人第一个想到的就是神秘,三星堆的发掘最早开始是在1933年,到1980年后的大型发掘,三星堆所发掘出的大型大量青铜器震惊了整个中国及至世界考古界。虽然三星堆
吸引眼球还是入戏太深?6月4日,弗洛伊德追悼会上市长为何大哭?昨天,被白人警察肖万跪死的黑人弗洛伊德的葬礼,在明尼阿波利斯一所大学举行,出现了一个令人动容的一幕明尼阿波利斯市长弗雷抚棺啼哭,长达一分多钟!非亲非故,弗雷为何这样动容?弗雷是吸引
长大后想嫁爸童言无忌成了博眼球的利器爸爸,长大以后我想嫁给你!妈妈,长大以后我想娶你!如果你的孩子这样和你说,你会作何反应?欣慰?幸福?还是略感不适,对孩子进行思想引导?在深圳地铁一号线新东方专列女性优先车厢内,地面
高科技三重奏闹钟,嗅觉视觉听觉轮番上阵,和迟到说再见没听见铃声又迟到了,急死了急死了睡得太死,闹铃失效了?小问题三重奏闹钟SensorwakeTrio能帮到你这款闹钟长得像一个小盒子虽然它体积很小,但它的本领高强顾名思义它有三种叫醒