我的笔记本

Appearance

安装 ​

  1. 安装Python的Selenium库

    打开cmd，输入

    cmd
    pip install selenium

  2. 安装Chrome浏览器后，确定Chrome的版本：【设置】-【关于Chrome】中查看 版本信息

  3. 安装ChromeDriver 从镜像索引网站中下载与Chrome相同版本的Chromedriver。下载地址

如果网站没有完全匹配的版本，可以选择稍大一点的版本下载。

  1. 将chromedriver配置到环境变量里

  1. 测试使用

    python
    from selenium import webdriver
driver = webdriver.Chrome()
url = 'https://www.baidu.com/'
driver.get(url)

  • 一些问题

    Chrome的更新频率非常频繁，与之对应的Chromedriver版本也必须相应更新。如果两者版本的主版本号相差超过1，selenium则会报异常，大概错误信息如下：

    发生异常: SessionNotCreatedException Message: session not created: This version of ChromeDriver only supports Chrome version 95 Current browser version is 105.0.5195.102 with binary path C:\Program Files (x86)\Google\Chrome\Application\chrome.exe

    --disable-dev-shm-usage 的作用

    --disable-dev-shm-usage 是一个启动参数，用于告诉 Chrome 不要使用 /dev/shm（即 POSIX 共享内存）来存放其数据。当使用该参数时，Chrome 会改为在 /tmp 目录下创建临时文件用于处理需要存储在内存中的数据。

    为什么要使用这个参数 容器环境的内存限制：Docker 容器环境中的 /dev/shm 大小默认为 64MB，这通常小于 Chrome 所需的空间，尤其是在打开多个标签或处理大量数据时。如果不增加这个大小，可能会导致 Chrome 行为异常或崩溃。 稳定性和兼容性：使用 --disable-dev-shm-usage 参数可以提高在资源受限的环境下运行 Chrome 的稳定性，尤其是自动化测试或数据抓取任务中。

常用语句 ​

获取元素 ​

find_element_by_* 和 find_elements_by_* 已弃用。

find_element() 通过指定方法查找指定的一个元素(需指定两个参数)

python
By.CLASS_NAME           #通过Class name查找指定的一个元素
By.CSS_SELECTOR         #通过CSS选择器查找指定的一个元素
By.ID                   #通过ID查找指定的一个元素
By.LINK_TEXT            #通过链接文本获取指定的一个超链接(精确匹配)
By.NAME                 #通过Name查找指定的一个元素
By.PARTIAL_LINK_TEXT    #通过链接文本获取指定的一个超链接(模糊匹配)
By.TAG_NAME              #通过标签名查找指定的一个元素
By.XPATH                #通过Xpath语法来指定的一个元素

例如

python
from selenium.webdriver.common.by import By
kw1=driver.find_element(By.ID,'kw')

获取本页面URL ​

python
c.current_url

获取日志 ​

python
c.log_types  #获取当前日志类型
c.get_log('browser')#浏览器操作日志
c.get_log('driver') #设备日志
c.get_log('client') #客户端日志
c.get_log('server') #服务端日志

新标签页操作 ​

如果是新打开的页签，这个时候一定要先移动句柄，再抓取网页内容

python
newwindow = 'window.open("https://www.baidu.com")'
c.execute_script(newwindow) #浏览器 新窗口打开连接
c.switch_to.window(c.window_handles[1]) #移动句柄，对新打开页面进行操作
c.close() #关闭该新打开的页面
c.switch_to.window(c.window_handles[0]) #不关闭，要移动到上一个页面，我们要移动句柄

窗口操作 ​

python
c.maximize_window()#最大化
c.fullscreen_window() #全屏
c.minimize_window() #最小化
c.get_window_position() #获取窗口的坐标
c.get_window_rect()#获取窗口的大小和坐标
c.get_window_size()#获取窗口的大小
c.set_window_position(100,200)#设置窗口的坐标
c.set_window_rect(100,200,32,50)    #设置窗口的大小和坐标
c.set_window_size(400,600)#设置窗口的大小
c.current_window_handle   #返回当前窗口的句柄
c.window_handles         #返回当前会话中的所有窗口的句柄

设置延时 ​

python
c.set_script_timeout(5) #设置脚本延时五秒后执行
c.set_page_load_timeout(5)#设置页面读取时间延时五秒

关闭 ​

python
c.close() #关闭当前标签页
c.quit() #关闭浏览器并关闭驱动

打印网页源代码 ​

python
c.page_source

剪贴板复制粘贴图片 ​

安装 win32clipboard ​

win32clipboard 集成于 win32api 中，不需要单独安装，直接安装 pywin32 就可以了

python
pip install pywin32

复制本地图片 ​

python
import win32clipboard
from PIL import Image
from io import BytesIO

def copy_image_to_clipboard(img_path: str):
    '''输入文件名，执行后，将图片复制到剪切板'''
    image = Image.open(img_path)
    output = BytesIO()
    image.save(output, 'BMP')
    data = output.getvalue()[14:]
    output.close()
    win32clipboard.OpenClipboard()
    win32clipboard.EmptyClipboard()
    win32clipboard.SetClipboardData(win32clipboard.CF_DIB, data)
    win32clipboard.CloseClipboard()

请求网络图片 ​

方法一 ​

python
from urllib import request
from PIL import Image
img = Image.open(request.urlopen(url))

方法二 ​

python
import requests
from PIL import Image

response = requests.get(url, stream=True)
img = Image.open(response.raw)
img

# 如果想要将PIL图片格式转化为OpenCV图片格式，可以使用如下方法
import numpy as np
img = cv.cvtColor(np.array(img), cv.COLOR_RGB2BGR)

方法三 ​

python
from io import BytesIO

import requests
from PIL import Image

response = requests.get(url)
img = Image.open(BytesIO(response.content))
img

方法四 ​

python
from io import BytesIO

import matplotlib.pyplot as plt
import requests

response = requests.get(url)
img = plt.imread(BytesIO(response.content), format="JPG")
plt.imshow(img)

方法五 ​

python
import matplotlib.pyplot as plt
from imageio import imread

# 此方法读取的图像和OpenCV一样，都是numpy.ndarray对象，只不过通道相反
# img[:,:,::-1] 转化为OpenCV图像格式
img = imread(url)
plt.imshow(img)
plt.show()

selenium 粘贴图片 ​

python
copy_image_to_clipboard('xxx.jpg')
c.find_element_by_css_selector('.im-editor > div').send_keys(Keys.CONTROL, 'v')

屏幕截图操作 ​

python
c.save_screenshot('1.png')#截图，只支持PNG格式
c.get_screenshot_as_png() #获取当前窗口的截图作为二进制数据
c.get_screenshot_as_base64() #获取当前窗口的截图作为base64编码的字符串

前进后退刷新 ​

python
c.forward() #前进
c.back()  #后退
c.refresh()#刷新

执行JS代码 ​

在Selenium中也可以自定义JS代码并带到当前页面中去执行，如下：

python
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
c=webdriver.Chrome()
c.get('https://www.baidu.com')
kw1=c.find_element(By.ID,'kw')
c.execute_script("alert('hello')")
time.sleep(3)
c.quit()

Cookies操作 ​

python
c.get_cookie('BAIDUID') #获取指定键的Cookies
c.get_cookies()         #获取所有的Cookies
c.add_cookie(x) #添加Cookies  
c.delete_cookie('BAIDUID') #删除指定键的Cookies内容
c.delete_all_cookies() #删除所有cookies

操作 localstorage ​

python

读取value

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')
value = browser.execute_script('return localStorage.getItem("wwwPassLogout");')

assert value == "0"


更新value

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')
driver.execute_script('localStorage.setItem("wwwPassLogout", "2");')

assert browser.execute_script('return localStorage.getItem("wwwPassLogout");') == "2"

获取标题内容 ​

python
c.title

获取当前浏览器名 ​

python
c.name

全局超时时间 ​

python
c.implicitly_wait(5)

元素操作 ​

python
kw1.clear()        #清除元素的值
kw1.click()        #点击元素
kw1.id             #Selenium所使用的内部ID
kw1.get_property('background') #获取元素的属性的值
kw1.get_attribute('id') #获取元素的属性的值
kw1.location       #不滚动获取元素的坐标
kw1.location_once_scrolled_into_view  #不滚动且底部对齐并获取元素的坐标
kw1.parent         #父元素
kw1.send_keys('')  #向元素内输入值
kw1.size           #大小
kw1.submit         #提交
kw1.screenshot('2.png') #截取元素形状并保存为图片
kw1.tag_name       #标签名
kw1.text           #内容，如果是表单元素则无法获取
kw1.is_selected()  #判断元素是否被选中
kw1.is_enabled()   #判断元素是否可编辑
kw1.is_displayed   #判断元素是否显示
kw1.value_of_css_property('color') #获取CSS元素属性的值
kw1._upload('2.png') #上传文件

模拟键盘输入和按键 ​

python
click(on_element=None)                 #鼠标左键单击
click_and_hold(on_element=None)        #单击鼠标左键，不松开
context_click(on_element=None)         #单击鼠标右键
double_click(on_element=None)          #双击鼠标左键
drag_and_drop(source,target)           #拖拽到某个元素然后松开
drag_and_drop_by_offset(source,xoffset,yoffset) #拖拽到某个坐标然后松开
key_down(value,element=None)     #按下键盘上的某个键
key_up(value, element=None)      #松开键盘上的某个键
move_by_offset(xoffset, yoffset)  #鼠标从当前位置移动到某个坐标
move_to_element(to_element)        #鼠标移动到某个元素
move_to_element_with_offset(to_element, xoffset, yoffset) #移动到距某个元素（左上角坐标）多少距离的位置
pause(seconds)                  #暂停所有输入(指定持续时间以秒为单位)
perform()                       #执行所有操作
reset_actions()                 #结束已经存在的操作并重置
release(on_element=None)       #在某个元素位置松开鼠标左键
send_keys(*keys_to_send)        #发送某个键或者输入文本到当前焦点的元素
send_keys_to_element(element, *keys_to_send) #发送某个键到指定元素

例如

python
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
c=webdriver.Chrome()
c.get('https://www.baidu.com')
a=ActionChains(c)
kw1=c.find_element(By.ID,'kw')
tj=c.find_element(By.ID,'su')
tj.send_keys(Keys.CONTROL,'c') #复制
a.drag_and_drop(kw1,tj).perform()#从输入框拖动到搜索按钮
kw1.send_keys(Keys.CONTROL,'v')#粘贴
tj.send_keys(Keys.ENTER)
time.sleep(3)
c.close()
c.quit()

选项操作 ​

python
from selenium.webdriver.chrome.options import Options
o = Options()

browser = webdriver.Chrome(options=o)
python
o.set_headless()          #设置启动无界面化
o.binary_location(value)  #设置chrome二进制文件位置
o.add_argument(arg)               #添加启动参数
o.add_extension(path)                #添加指定路径下的扩展应用
o.add_encoded_extension(base64)      #添加经过Base64编码的扩展应用
o.add_experimental_option(name,value)         #添加实验性质的选项
o.debugger_address(value)                #设置调试器地址 
o.to_capabilities()                    #获取当前浏览器的所有信息
------------------------------------------------------------------------------
o.add_experimental_option('excludeSwitches', ['enable-automation'])#开发者模式
o.add_argument('--disable-blink-features=AutomationControlled') #防止检测
o.add_argument('--window-size=600,600') #设置窗口大小
o.add_experimental_option("detach", True) #不自动关闭窗口
o.add_argument('--incognito') #无痕模式
 o.add_argument('--disable-infobars') #去掉chrome正受到自动测试软件的控制的提示（高版本 Chromium 不再支持禁用信息栏）
o.add_argument('user-agent="XXXX"') #添加请求头
o.add_argument("--proxy-server=http://200.130.123.43:3456")#代理服务器访问
o.add_experimental_option("prefs",{"profile.managed_default_content_settings.images": 2}) #禁止加载图片
o.add_experimental_option('prefs',
{'profile.default_content_setting_values':{'notifications':2}}) #禁用浏览器弹窗
o.add_argument('blink-settings=imagesEnabled=false')  #禁止加载图片
o.add_argument('lang=zh_CN.UTF-8') #设置默认编码为utf-8
o.add_extension(create_proxyauth_extension(
           proxy_host='host',
           proxy_port='port',
           proxy_username="username",
           proxy_password="password"
       ))# 设置有账号密码的代理
o.add_argument('--disable-gpu')  # 这个属性可以规避谷歌的部分bug
o.add_argument('--disable-javascript')  # 禁用javascript
o.add_argument('--hide-scrollbars')  # 隐藏滚动条
o.binary_location=r"C:\Users\Administrator\AppData\Local\Google\Chrome\Application" #指定浏览器位置
o.add_argument('--no-sandbox')  #解决DevToolsActivePort文件不存在的报错

框架操作(Frame/IFrame) ​

python
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
c=webdriver.Chrome()
c.implicitly_wait(10)
c.get('https://hao.360.com/?a1004')
#ss=c.find_element(By.CLASS_NAME,'NEWS_FEED_VIDEO_1595850774217HPA70')#不容易找到标签
c.switch_to.frame(0)#索引
c.switch_to.frame('NEWS_FEED_VIDEO_1595850774217HPA70-VideoIframe') #ID
c.switch_to.frame('NEWS_FEED_VIDEO_1595850774217HPA70')#Class
c.switch_to.frame(c.find_element_by_tag_name("iframe"))#标签
time.sleep(3)
c.close()
c.quit()

如果我们遍历到最后了如何返回主框架了，可以这样做，如下所示：

python
c.switch_to.default_content()

这样就可以回到主框架继续进行操作了。如果我们由里往外遍历的话，那么可以这样来做，如下：

python
c.switch_to.parent_frame()

Alert ​

在弹窗处理中，我们会遇到三种情况，如下：

浏览器弹出框 新窗口弹出框 人为弹出框

  1. 浏览器弹出框

首先说说浏览器弹出框，想必大家对JavaScript中的Alert，Confirm，Prompt应该不是很陌生，就是弹出框，确认框，输入框；基本方法我们来看下，如下：

python
from selenium.webdriver.common.alert import Alert
c=webdriver.Chrome()
c.implicitly_wait(10)
c.get('https://www.baidu.com')
a1=Alert(c)
a1.accept() #确定
a1.dismiss() #取消
a1.authenticate(username,password) #用户身份验证
a1.send_keys('') #输入文本或按键
a1.text  #获取弹窗内容

这里我们应对每种情况它上面的方法的对应位置都是会有所变化的，所以我们需要根据具体情况来进行操作，而且还可以使用另一种方法，如下：

python
c=webdriver.Chrome()
c.implicitly_wait(10)
c.get('https://www.baidu.com')
a1=c.switch_to_alert()
a1.accept() #确定
a1.dismiss() #取消
a1.authenticate(username,password) #用户身份验证
a1.send_keys('') #输入文本或按键
a1.text  #获取弹窗内容

注：该类方法必须在有弹框的情况下才有作用，如没有会报错。

  1. 新窗口弹出框

上面就是浏览器弹出框的处理方法了，如果是新窗口弹出的话那么就不一样了，我们需要通过句柄来定位，前面我们提到过这两个方法。下面我们来看看它们的具体用法，如下：

python
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
c=webdriver.Chrome()
c.implicitly_wait(10)
c.get('https://www.baidu.com')
kw1=c.find_element(By.ID,'kw')
tj=c.find_element(By.ID,'su')
hwnd=c.window_handles #所有窗口句柄
for h in hwnd:
   if h !=c.current_window_handle:  #如果句柄不是当前窗口句柄则切换                          c.switch_to_window(h)  #切换窗口
   else:
       print('无需切换窗口') 
time.sleep(3)
c.close()
c.quit()

注：如果有多个窗口，当你关闭了当前窗口想切换到另一个窗口，你需要把没关闭的窗口切换成当前活动窗口，因为Selenium是不会为你做这件事的。

  1. 人为弹出框

这类弹出框是我们自己开发的，一般都是使用Div包裹一些其它的元素标签然后形成一个整体，当我们触发某个事件的时候就会出现，否则消失。这种弹出框使用我们的众多Find前缀的方法就能遍历到，很方便，这里不一一细说。

判断 ​

在Selenium中我们在做自动化测试时常无法判断一个元素是否真的显示出来了，因此会各种报错，接下来我们对这些操作进行判断，如果显示出了我们预期的值，那么就进行下一步操作，否则就关闭或者暂停几秒然后再判断，这里我要Selenium中的一个模块-----Expected_Conditions，简称为EC，如下所示：

python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time
c=webdriver.Chrome()
c.implicitly_wait(10)
c.get('https://baidu.com')
t=EC.title_is('百度一下，你就知道')
print(t(c))
time.sleep(3)
c.close()
c.quit()

这里其实就是判断当前页面的标题是否是我们给定的文本，可以看出这里为True，说明是。

其它方法，如下所示：

python
EC.title_contains('')(c)#判断页面标题是否包含给定的字符串
EC.presence_of_element_located('')(c) #判断某个元素是否加载到dom树里，该元素不一定可见
EC.url_contains('')(c) #判断当前url是否包含给定的字符串
EC.url_matches('')(c) #匹配URL
EC.url_to_be('')(c)  #精确匹配
EC.url_changes('')(c) #不完全匹配
EC.visibility_of_element_located('')(c) #判断某个元素是否可见,可见代表元素非隐藏元素
EC.visibility_of('')(c)   #跟上面一样，不过是直接传定位到的element
EC.presence_of_all_elements_located('')(c) #判断是否至少有1个元素存在于dom树中
EC.visibility_of_any_elements_located('')(c) #判断是否至少一个元素可见，返回列表
EC.visibility_of_all_elements_located('')(c) #判断是否所有元素可见，返回列表
EC.text_to_be_present_in_element('')(c) #判断元素中的text是否包含了预期的字符串
EC.text_to_be_present_in_element_value('')(c)#判断元素中value属性是否包含预期的字符串
EC.frame_to_be_available_and_switch_to_it('')(c) # 判断该frame是否可以switch进去
EC.invisibility_of_element_located('')(c) #判断某个元素是否不存在于dom树或不可见
EC.element_to_be_clickable('')(c) #判断某个元素中是否可见并且可点击
EC.staleness_of('')(c)  #等某个元素从dom树中移除
EC.element_to_be_selected('')(c)  #判断某个元素是否被选中了,一般用在下拉列表
EC.element_located_to_be_selected('')(c) #判断元组中的元素是否被选中
EC.element_selection_state_to_be('')(c) #判断某个元素的选中状态是否符合预期
EC.element_located_selection_state_to_be('')(c) #跟上面一样，只不过是传入located
EC.number_of_windows_to_be('')(c)  #判断窗口中的数字是否符合预期
EC.new_window_is_opened('')(c)  #判断新的窗口是否打开
EC.alert_is_present('')(c)  #判断页面上是否存在alert

选择 ​

python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.select import Select
import time
c=webdriver.Chrome()
c.implicitly_wait(10)
c.get('http://www.juliwz.cn/forum.php')
s=Select(c.find_element_by_id('ls_fastloginfield'))#实例化
res=s.all_selected_options#全部选中子项
res1=s.options#全部子项
print(res)
print(res1)
time.sleep(3)
c.close()
c.quit()

Select里面的方法也是相当多的，如下：

python
s.first_selected_option  #第一个选中的子项
s.select_by_index(index) #根据索引选择
s.select_by_value(value)   #根据值来选择
s.select_by_visible_text(text)  #根据选项可见文本
s.deselect_by_index(index)   #根据索引来取消选择
s.deselect_by_value(value)   #根据值来取消选择
s.deselect_by_visible_text(text)  #根据可见文本来取消选择
s.deselect_all()                #取消所有选择

显示等待和隐式等待 ​

显示等待就是浏览器在我们设置的时间内不断寻找，等到元素后才继续执行，如果没在规定时间内找到，也会抛异常；而隐式等待则是我们设置时间，然后程序去找元素，期间会不断刷新页面，到了时间仍然没找到就抛异常。这里有个常用的模块专门用来实现显示等待和隐式等待的，它就是”wait“。如下：

python
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
c=webdriver.Chrome()
c.get('https://www.baidu.com/')
su=WebDriverWait(c,10).until(lambda x:x.find_element_by_id('su')) 
su.location_once_scrolled_into_view
print(su.get_attribute('value'))
time.sleep(3)
c.close()
c.quit()

隐式等待很简单，就一行代码，如下：

python
c.implicitly_wait(10)

它的等待时间适用于全局的环境，也就是任何地方找不到某个元素，它都将发挥作用，如果找得到，则不会产生作用。

摘抄自：Selenium超级详细的教程

Released under the MIT License.

Copyright © 2019-present