圆月山庄资源网 Design By www.vgjia.com
1.selenum:三方库。可以实现让浏览器完成自动化的操作。
2.环境搭建
2.1 安装:
pip install selenium
2.2 获取浏览器的驱动程序
下载地址:
http://chromedriver.storage.googleapis.com/index.html
http://npm.taobao.org/mirrors/chromedriver/
浏览器版本和驱动版本的对应关系表:
所有chromedriver均可在下面链接中下载到:
http://chromedriver.storage.googleapis.com/index.html
现在有一点好的是出了按照chrome版本对应的driver,直接按照浏览器版本去找对应的driver(只对应大版本就行),不用再费心去对应了,大家可以尝试一下
有些同学说下不了,到taobao下也是可以的:
http://npm.taobao.org/mirrors/chromedriver/
定位元素的8种方式:
#使用下面的方法,查找指定的元素进行操作即可 find_element_by_id 根据id找节点 find_elements_by_name 根据name找 find_elements_by_xpath 根据xpath查找 find_elements_by_tag_name 根据标签名找 find_elements_by_class_name 根据class名字查找 # 通过id定位: dr.find_element_by_id("kw") # 通过name定位: dr.find_element_by_name("wd") # 通过class name定位: dr.find_element_by_class_name("s_ipt") # 通过tag name定位: dr.find_element_by_tag_name("input") # 通过xpath定位,xpath定位有N种写法,这里列几个常用写法: dr.find_element_by_xpath("//*[@id='kw']") dr.find_element_by_xpath("//*[@name='wd']") dr.find_element_by_xpath("//input[@class='s_ipt']") dr.find_element_by_xpath("/html/body/form/span/input") dr.find_element_by_xpath("//span[@class='soutu-btn']/input") dr.find_element_by_xpath("//form[@id='form']/span/input") dr.find_element_by_xpath("//input[@id='kw' and @name='wd']") # 通过css定位,css定位有N种写法,这里列几个常用写法: dr.find_element_by_css_selector("#kw") dr.find_element_by_css_selector("[name=wd]") dr.find_element_by_css_selector(".s_ipt") dr.find_element_by_css_selector("html > body > form > span > input") dr.find_element_by_css_selector("span.soutu-btn> input#kw") dr.find_element_by_css_selector("form#form > span > input")
接下来,我们的页面上有一组文本链接。
<a class="mnav" href="http://news.baidu.com" rel="external nofollow" name="tj_trnews">新闻</a> <a class="mnav" href="http://www.hao123.com" rel="external nofollow" name="tj_trhao123">hao123</a>
# 通过link text定位: dr.find_element_by_link_text("新闻") dr.find_element_by_link_text("hao123") # 通过partial link text定位: dr.find_element_by_partial_link_text("新") dr.find_element_by_partial_link_text("hao") dr.find_element_by_partial_link_text("123")
Selenium库下webdriver模块常用方法的使用
控制浏览器操作的一些方法
方法 说明
- set_window_size() 设置浏览器的大小
- back() 控制浏览器后退
- forward() 控制浏览器前进
- refresh() 刷新当前页面
- clear() 清除文本
- send_keys (value) 模拟按键输入
- click() 单击元素
- submit() 用于提交表单
- get_attribute(name) 获取元素属性值
- is_displayed() 设置该元素是否用户可见
- size 返回元素的尺寸
- text 获取元素的文本
---------------------
例子:
1.chrom浏览器自动搜索
from selenium import webdriver from time import sleep # 创建浏览器对象 驱动为浏览器的路径 bro = webdriver.Chrome("./chromedriver.exe") url = "https://www.baidu.com"7 # 发送请求 bro.get(url) # 让百度指定词条的搜索 text = bro.find_element_by_id('kw') # 发送关键字 text.send_keys('python') # 点击搜索按钮 button = bro.find_element_by_id('su') button.click() # 关闭浏览器 bro.quit()
2.phantomjs无界面浏览器,其自动化流程上述操作谷歌自动化流程一致。
from selenium import webdriver from time import sleep bro = webdriver.PhantomJS('E:/BaiduNetdiskDownload/爬虫课件/5. 动态数据加载 爬取\phantomjs‐2.1.1‐windows/bin/phantomjs.exe') url = "https://www.baidu.com" # 发送请求 bro.get(url) bro.save_screenshot('./1.png') # 让百度指定词条的搜索 text = bro.find_element_by_id('kw') # 发送关键字 text.send_keys('python') bro.save_screenshot('./2.png') # 点击搜索按钮 button = bro.find_element_by_id('su') button.click() sleep(3) bro.save_screenshot('./3.png') # 关闭浏览器 bro.quit()
3.豆瓣网电影排行榜滚动条数据
from selenium import webdriver from time import sleep3 url = 'https://movie.douban.com/typerank"./1.png") js = 'window.scrollTo(0,document.body.scrollHeight)' # 执行js代码 滚动条 bro.execute_script(js) sleep(1) bro.save_screenshot('./2.png') # 获取页面数据 page_source = bro.page_source print(page_source)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
圆月山庄资源网 Design By www.vgjia.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
暂无评论...
更新日志
2024年12月23日
2024年12月23日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]