🗒️最简单、最实用、最万能的爬虫方法——Selenium
00 分钟
2024-3-10
2024-4-5
type
status
date
slug
tags
summary
category
password
icon
😀
Selenium本来并不是用来爬虫的,而是用来做自动化测试的。因其可以控制浏览器,所以随着用的人多了,渐渐的也可以用来爬虫了。真真正正的达到了“所见即所爬”

为什么选择Selenium?

开源:Selenium 是开源的,因此不涉及许可费用。 灵活性:Selenium 支持多种编程语言、平台和浏览器。 跨浏览器执行测试:Selenium 可以跨多个浏览器执行测试脚本。 集成能力:Selenium 可以与 TestNG 和 JUnit 等工具集成,以管理测试用例和生成报告。它还可以与 Maven、Jenkins 和 Docker 集成以实现持续测试。 并行测试:Selenium Grid 允许在多台机器上并行运行测试

安装Selenium

和安装其他库的步骤一样,直接在终端(或cmd)输入以下命令即可:
或者安装指定版本的Selenium,比如我经常使用的4.10.0版本

安装浏览器驱动

仅仅安装一个Selenium还不够,他还需要一个能够打开浏览器的驱动,驱动可以在以下链接选择对应版本即可.
最新版的Edge浏览器可跳过此步骤,因为浏览器预装.

打开浏览器

由于Selenium最初是为浏览器自动化测试的,所以我们要先打开一个浏览器。

导入浏览器

浏览器可以更改,可以选择Chrome,Edge,Opera,IE等
注意:绝对没有360浏览器,QQ浏览器,百度浏览器等.

创建浏览器对象

请求URL

这里以百度为例,可以看到已经请求成功了.
notion image

获取数据

由于是演示,这里以获取百度的标题为例.代码非常简单
这样就将标题输出到终端了
notion image

📎 参考内容

 
 
💡
有关使用上的问题,欢迎您在底部评论区留言,一起交流~
上一篇
使用Selenium4查找ID标签并模拟输入、点击以及标签页切换
下一篇
最新CodeSandBox搭建Copilot镜像站+人机验证服务

评论
Loading...