当前位置: 首页 > backend >正文

在使用Python的Selenium库打卡网页后,通过CDP命令获取所有cookies(包括Httponly和Secure的cookies)

通过 Chrome DevTools Protocol (CDP) 结合 Selenium 可以直接获取浏览器存储的所有 Cookies(包括所有域名下的 Cookies),以下是详细步骤:

步骤 1:配置 Chrome 启用 CDP启动 Chrome 浏览器时需启用远程调试端口(Remote Debugging Port),这是使用 CDP 的前提:

from selenium import webdriver
from selenium.webdriver.chrome.options 
import Options
# 配置 Chrome 选项
chrome_options = Options()chrome_options.add_argument("--remote-debugging-port=9222")  
# 启用调试端口
chrome_options.add_argument("--headless=new")  
# 可选:无头模式# 初始化 
WebDriverdriver = webdriver.Chrome(options=chrome_options)

步骤 2:通过 CDP 命令获取所有 Cookies使用 Selenium 的 execute_cdp_cmd 方法发送 CDP 命令 Network.getAllCookies

# 发送 CDP 命令获取所有 
Cookiescookies_response = driver.execute_cdp_cmd("Network.getAllCookies", {})
all_cookies = cookies_response.get("cookies", [])
# 打印结果
print("所有 Cookies 列表:", all_cookies)

完整代码示例

from selenium import webdriver
from selenium.webdriver.chrome.options 
import Options
# 配置 Chrome 并启用 CDP
chrome_options = Options()chrome_options.add_argument("--remote-debugging-port=9222")
driver = webdriver.Chrome(options=chrome_options)
# 打开任意网页(可选)
driver.get("https://www.example.com")
# 使用 CDP 命令获取所有 Cookies
try:    cookies = driver.execute_cdp_cmd("Network.getAllCookies", {}).get("cookies", [])print("获取到的 Cookies 数量:", len(cookies))    for cookie in cookies:        print(f"名称: {cookie['name']}, 值: {cookie['value']}, 域名: {cookie['domain']}")
except Exception as e:    print("获取 Cookies 失败:", e)# 关闭浏览器driver.quit()

关键点说明

  1. 启用调试端口: - --remote-debugging-port=9222 是使用 CDP 的关键配置。 - 如果未启用此端口,execute_cdp_cmd 将无法工作。
  2. CDP 命令 Network.getAllCookies: - 该命令返回浏览器存储的 所有 Cookies,包括不同域名下的 Cookies。 - 返回的 Cookies 信息包含 namevaluedomainpathexpires 等字段。
  3. 与传统方法的区别: - 传统 driver.get_cookies() 只能获取当前页面域名下的 Cookies。 - CDP 方法可以获取浏览器全局存储的 Cookies,无需切换标签页或域名。

常见问题

  • 返回空列表
    • 确保浏览器已加载过页面(部分 Cookies 可能在页面加载后生成)。
    • 检查浏览器隐私设置(如隐身模式下可能无 Cookies)。
  • 安全限制
    • 部分 Cookies 可能标记为 HttpOnlySecure,但 CDP 通常仍可获取(与 JavaScript 不同)。
  • 浏览器兼容性
    • CDP 需要 Chrome 或基于 Chromium 的浏览器(如 Edge)。
    • 确保 Chrome 和 ChromeDriver 版本兼容(建议使用最新稳定版)。通过上述方法,你可以直接通过 Selenium 调用底层 CDP 接口,高效获取完整的浏览器 Cookies 数据。
http://www.xdnf.cn/news/2676.html

相关文章:

  • 如何使用electron-forge开发上位机ui
  • 如何开展有组织的AI素养教育?
  • zynq 7010 PS 串口打印
  • 绘制板块层级图
  • 健康养生:开启品质生活的密钥
  • 【jceks】使用keytool和hadoop credential生成和解析jceks文件(无密码storepass)
  • 零基础搭建AI作曲工具:基于Magenta/TensorFlow的交互式音乐生成系统
  • 【计算机视觉】Bayer Pattern与Demosaic算法详解:从传感器原始数据到彩色图像
  • PostgreSQL无法查看表中数据问题排查
  • ARM32静态交叉编译并使用pidstat教程
  • Docker 获取 Python 镜像操作指南
  • 【Web应用服务器_Tomcat】三、Tomcat 性能优化与监控诊断
  • 菱形继承和虚基表
  • go语言八股文(五)
  • 解决Ubuntu20.04重启出现显卡驱动异常的问题(操作记录)
  • k8s基本概念-YAML
  • git 修改用户名和邮箱
  • 【Docker】——在Docker工具上安装创建容器并完成项目部署
  • 线性代数的本质大白话理解
  • 【Linux系统】进程间通信(管道)
  • 8、HTTPD服务--ab压力测试
  • JAVA EE_网络原理_UDP与TCP
  • 二进制、高位低位、位移操作与进制转换全解
  • 国联股份卫多多与北京慧闻科技(集团)签署战略合作协议
  • Kubernetes(k8s)学习笔记(三)--部署 Kubernetes Master
  • 完美解决.NET Framework 4.0 中 System.Drawing 库不支持 WebP 格式的图像处理
  • Android adb 安装应用失败(安装次数限制)
  • 【现代深度学习技术】循环神经网络07:通过时间反向传播
  • 爬虫学习笔记(二)--web请求过程
  • 从代码学习机器学习 - UMAP降维算法 scikit-learn版