Python使用selenium模拟浏览器实现自动化操作

Python使用selenium模拟浏览器实现自动化操作

数据工作者在日常工作中经常遇到需要定期更新报表数据的情况,一般而言大公司给到业务的数据权限相对有限,有的并不能直接访问数据库,而是使用报表系统来定期提取数据,手动导出导入本地数据库再进行分析。

本来可以自动化运行的场景被‘报表系统’给割裂,设计上用来方便业务人员的系统却在某些程度上成了天花板,一定要想方设法的突破它。

selenium介绍

selenium是自动化测试工具集,就是写好代码可以自动调用浏览器测试页面功能和性能的工具,使用人群大多是测试工程师,因为它有一整套测试功能,能够很好的契合各种类型网站的测试工作。

它支持多浏览器,WebDriver可以从Python等语言直接调用,所有操作与人工操作轨迹一致,不容易被定为为及机器人,以上这些优点让selenium很适合与Python一起完成初级的自动化功能,比如自动登陆、自动下载数据等

场景分析

既然是自动化测试工作,那肯定也可以简单改动用来自动化大多数需要网页操作的工作,这个案例里我们使用Selenium-WebDriver来自动化登陆报表系统,下载定期报表并导入本机SQL数据库。

首先安装Selenium,Win+R唤出控制台


1
pip install Selenium

下载对应浏览器的Driver,这里用的是Chrome

http://chromedriver.chromium.org/
https://www.seleniumhq.org/download/

定义地址或加入系统path后就可以直接调用Chrome模拟了,当然还可以自定义一些列Chrome参数等,这里需要下载文件所以自定义了默认下载地址,其它自定义参数可以从Chrome或对应浏览器的文档里查找。


1
2
3
4
5
6
7
8
9
10
11
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import os
import time
import sys
ChromePath = r'‪ChromeDriver地址'
PlatformUrl = 'http://abdata.ab.com:7001/anbang/'
DataFolds=r'默认地址'
chromeOptions = webdriver.ChromeOptions()
prefs = {"download.default_directory": DataFolds}
chromeOptions.add_experimental_option("prefs", prefs)

接下来使用Selenium打开窗口,访问地址


1
2
BotSession = webdriver.Chrome(chrome_options=chromeOptions)
BotSession.get(PlatformUrl)

Selenium可以定为元素后依靠Click(),Submit()等函数完成点击和提交等动作,定为元素的方法较多,这里使用最容易入门的Xpath,按F12打开调试台再需要点击的元素上点右键检查,即可定位到源代码,在高亮的源代码上右键copy-Xpath即可负责对应的Xpath,使用Click或Send_Keys即可完成输入和点击动作。


1
2
3
BotSession.find_element_by_xpath('//*[@id="data_statistics"]').click()
BotSession.find_element_by_xpath('//*[@id="j_username"]').send_keys('账号')
BotSession.find_element_by_xpath('//*[@id="j_password"]').send_keys('密码')

大部分网站拥有验证码部分,这里可以使用前文所述的Python自动验证码功能,也可以Pause后手动输入验证码,演示代码使用自动识别验证码方式


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
BotSession.get_screenshot_as_file(DataFolds + '/test.png')#全屏截屏
element = BotSession.find_element_by_xpath('//*[@id="identify"]')
left = int(element.location['x']*1.5)
top = int(element.location['y']*1.5)
right = int(element.location['x']*1.5 + element.size['width']*1.5)
bottom = int(element.location['y']*1.5 + element.size['height']*1.5)
from PIL import Image
im = Image.open(DataFolds + '/test.png')
im = im.crop((left, top, right, bottom))
im.save(DataFolds + '/test.png')
Filepath =DataFolds + r'\test.png'
#识别验证码
sys.path.append(r'验证码地址')
import CodeDetect
Res=CodeDetect.CodeDetect(Filepath)
ResDict=eval(str(Res,encoding = "utf-8"))
BotSession.find_element_by_xpath('//*[@id="yanZheng"]').send_keys(ResDict['result']['code'])
BotSession.find_element_by_xpath('//*[@id="yanZheng"]').send_keys(Keys.ENTER)

有的时候页面有自动跳出的通知公告,我们可以使用try模式尝试点击或跳过


1
2
3
4
5
6
try :
    CloseExlment=BotSession.find_element_by_xpath('/html/body/div/div[1]/div[2]/a')
except :
    pass
else:
    CloseExlment.click()

有时候页面有iframe框架Selenium并不能智能识别,这里需要阅读代码并切换到iframe内


1
2
BotSession.switch_to.frame("frameContent")
BotSession.find_element_by_xpath('//*[@id="hrefB"]').click()

有时一个列表内的许多任务只有一个是我们所需要的,这时需要根据唯一可以确定的值来识别任务,代码示例里用的是设置任务自动执行的时间来识别,这样不同的任务设置不同的时间即可


1
2
3
4
5
6
7
8
9
for i in range(9) :
    CheckXptah = '//*[@id="datagrid-row-r4-2-'+str(i) +'"]/td[3]/div'
    TimeStr = BotSession.find_element_by_xpath(CheckXptah).text
    TaskTime=time.strptime(TimeStr,"%Y-%m-%d %H:%M:%S")
    if TaskTime.tm_mday == (time.localtime().tm_mday -1) and TaskTime.tm_hour == 23 : #按小时寻找昨天的执行任务
        Rightxpath = '//*[@id="datagrid-row-r4-2-'+str(i)+'"]/td[6]/div/span'
        break
    else : pass
BotSession.find_element_by_xpath(Rightxpath).click()

大部分时候已经下载好待导入SQL的文件放置在统一的位置,我们使用os模块调用重命名和移动功能挪过去即可


1
2
3
4
5
os.chdir(DataFolds)
time.sleep(15)
os.rename("导出文件名.txt" , "导入文件名.txt")
import shutil
shutil.move(r'原位置',r'新位置')

运行完毕后退出或使用windows计划任务导入SQL即可


1
BotSession.quit()

成品如下

自动登陆报表系统,调用接口识别验证码,判断是否有弹窗关闭,跳入iframe切换到定时任务页面,使用任务执行时间区分目标任务,点击下载数据,移动到指定位置,调用计划任务导入SQL,Enjoy


1
pending..

Ref..

https://wizardforcel.gitbooks.io/selenium-doc/content/official-site/introduction.html
https://zhuanlan.zhihu.com/p/28587931
https://selenium-python.readthedocs.io/

本文遵守署名-非营利性使用-相同方式共享协议,转载请保留本段:冰丝带雨 » Python使用selenium模拟浏览器实现自动化操作

赞 (0)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址