PythonSelenium的下载和安装
Selenium是一个用于测试Web应用程序的自动化测试工具,它直接运行在浏览器中,实现了对浏览器的自动化操作,它支持所有主流的浏览器,包括IE,Firefox,Safari,Chrome等。
Selenium支持所有主流平台(如,Windows、Linux、IOS、Android、Edge、Opera等),同时,它也实现了诸多自动化功能,比如软件自动化测试,检测软件与浏览器兼容性,自动录制、生成不同语言的测试脚本,以及自动化爬虫等。本节及后续两节主要围绕自动化爬虫展开讲解。
Selenium提供了一个工具集,包括SeleniumWebDriver(浏览器驱动)、SeleniumIDE(录制测试脚本)、SeleniumGrid(执行测试脚本)。后面两个主要用于测试脚本的录制、执行,因此不做介绍。我们只对SeleniumWebDriver做重点讲解。
关于SeleniumIDE/Grid的相关知识可参考官网文档https://www.selenium.dev/。Selenium下载安装
Selenium安装非常简单,Linux、Mac用户执行以下命令即可:sudo pip install Selenium1复制代码类型:[python]
Windows用户执行以下命令即可实现安装:python -m pip install selenium1复制代码类型:[python]
除了使用上述命令安装外,您也可以通过官方网站下载SeleniumWebDriver安装包。安装浏览器驱动
若想使Selenium能够调用浏览器,那么必须通过webdriver驱动来实现。不同的浏览器需要使用不同驱动程序,下面列出了不同浏览器驱动程序的下载地址:
谷歌浏览器chromedrive:http://chromedriver.storage.googleapis.com/index.html
火狐浏览器geckodriver:https://github.com/mozilla/geckodriver/releases
IE浏览器IEDriver:http://selenium-release.storage.googleapis.com/index.html
各种浏览器的驱动安装规程基本一致。不过需要注意:安装Chrome、Firefox驱动时,需要下载与浏览器版本相匹配的驱动程序,否则不能驱动浏览器。而IE较为特殊,您需要下载与Selenium版本相匹配的驱动文件,如下所示:
下面以Windows10平台Chrome浏览器为例讲解。首先检查浏览器版本号,并下载相应驱动文件,然后解压文件,将Chromedriver.exe文件拷贝到Python安装目录的Scripts目录下,最后将其添加到系统环境变量中。使用如下命令可查看Python安装路径:where python1复制代码类型:[python]
您需要根据自己安装路径进行配置,我的环境变量配置如下:
上述操作完成后,在CMD命令行启动驱动程序,如下所示:
开启成功后,驱动程序会在后台运行。自动访问百度
编写如下代码,实现自动化访问百度。# 导入seleinum webdriver接口 from selenium import webdriver import time # 创建Chrome浏览器对象 browser = webdriver.Chrome() #访问百度网站 browser.get("http://www.baidu.com/") #阻塞3秒 time.sleep(3) # 自动退出浏览器 browser.quit()1234567891011复制代码类型:[python]
截取了运行中的显示结果,如下所示:
经过上述代测试,说明我们安装的浏览器驱动可以正常工作。SeleniumWebDriver实现了许多操作浏览器功能。比如实现自动点击、自动输入、自动搜索、自动登录等等。
毫不夸张的说,Selenium自动化爬虫是一种万能的爬虫程序,它可以仿照人的样子去打开网站,并拿到你想要的数据,因此你无须在意反爬措施。不过它最致命的缺点就是效率很低,因为每次点击、输入等操作都需要花费一定的时间,因此它仅适用于小批量的数据抓取。
开课吧广场-人才学习交流平台
山东移动8亿多固定宽带接入线路施工项目开标山东移动20172018年固定宽带接入(红线内)线路工程施工项目,随着最后两个地市菏泽泰安于近日开标,全省17个地市中标结果全部公布,项目总预算82576万元,铁通中通四局中通五局
2017年通信人将面临的8大变化2016年过去了,在过去的一年里,相信不少通信人都是在忙碌奔波中度过。已经到来的2017年,通信人将会面临一些什么样的变化呢?升职加薪职位变动转行创业该来的还是要来,未来依然值得期
盘点2016年通信行业十件大事2016年已接近尾声,在过去的一年里,通信行业在厚积薄发中不断前行中国5G成为世界标准移动宽带高歌猛进联通深度合作成果显著电信800M重耕提速落实中国广电获颁基础电信业务牌照服务商
广东移动网优考试结果新鲜出炉,快来看看你们的成绩吧为期3天的广东移动联合举办20172018年无线网络调整支撑服务资格认证考试于1月9日正式结束。本次考试面向从事无线网络优化工作的单位与个人,主要目的为对无线网络优化调整支撑服务人
辽宁移动26。8亿传输管线施工项目变更招标要求,现已重新开标2016年12月底,总预算高达600亿的中国移动传输管线施工项目31省已全部开标。2017年1月13日,辽宁移动重新发布招标公告,变更了部分招标要求,并重新公示了中标结果,虹信中通
8。8折!陕西铁塔3。5亿元塔类一体化施工项目开标,35家企业中标7月4日,受到业内广泛关注的陕西铁塔塔类一体化施工项目公布了中标候选人,该项目预算金额为35553万元,划分11个标段58个份额,共计35个候选人中标。项目概况本项目为2021年中
399元起,斯莫格ET10系列模块化无线供电脚架SmallRig斯莫格发布ET10系列模块化无线供电脚架,集充电三脚架无线控制于一体,为手机相机提供更长续航支持,包含手机无线充电夹和供电三脚架,珍珠白和天空灰双色可选。手机Typ
河南电缆厂家耐火电缆的含义近些年耐火电缆的需求量愈来愈多主要是客户对于此事电缆的功能获得了认同与此同时生产制造此电缆的厂商也日益提升耐火电缆的质量是不是确保且长久平稳这一点是十分关键的。大伙儿了解防火实验是
为BlackmagicStudioCamera讯道机添加变焦聚焦控制器lackmagicDesign发布了Camera7。4。2软件更新。更新后,BlackmagicStudioCamera4KPlus和Pro讯道机用户就可以通过Blackmagic
超五类非屏蔽双绞线和六类双绞线的区别超五类非屏蔽双绞线是在对目前五类屏蔽双绞线的部分特性多方面改进后出現的电缆,许多技术参数,如近端串扰衰减系数串扰比,回波损耗等都逐步提高,但其传送网络带宽仍为100MHz。超五类双
电线和线缆电导体的应用软电线和线缆电导体拼装,则是在精制的n芯软电线,电缆线,并由公司统一选购,装包,货期,等同于完全免费给职工,职工,销售人员和办公等应用。安裝案例安裝电源开关邻近的二颗带角螺钉的高精