当前位置: 首页 > backend >正文

Python 网络爬虫 —— 代理服务器

一、会话(Session)

(一)核心逻辑

HTTP 本身无记忆,每次请求独立。会话(Session) 就是为解决这问题,让客户端(浏览器)和服务器 “记住” 交互状态(比如登录态 ),常用 Cookie 实现:服务器发 Cookie 给客户端存着,下次请求带着,服务器就知道 “是同一用户” 。

(二)创建会话(requests 实现 )

用 requests 库的 Session 类,自动维持会话、管理 Cookie,代码形式:

import requests
# 创建会话对象,后续用 s 发请求,自动带 Cookie
s = requests.Session()  

比如登录操作,先用 s.post() 提交账号密码,登录后的 Cookie 会存在 s 里,再用 s.get() 访问需要登录的页面,就自动带着登录态,不用手动传 Cookie 。

二、代理服务器

(一)是什么 & 作用

代理服务器是客户端和目标服务器中间的 “中转站” 。客户端发请求给代理,代理再转发给目标服务器,拿到响应后再回传给客户端。

作用超关键:

  • 防封禁:频繁爬取时,目标服务器会封客户端 IP ,用代理换 IP ,让服务器以为是不同用户请求。
  • 突破限制:有些资源限制访问来源,代理可伪装成允许的 IP 去请求。

(二)工作流程(对应图文 )

  1. 客户端(你写的爬虫)→ 发 URL 请求给代理服务器 。
  2. 代理服务器 → 转发请求给目标服务器 。
  3. 目标服务器 → 把响应给代理服务器 。
  4. 代理服务器 → 再把响应回传给客户端 。
    相当于代理 “替你” 和目标服务器沟通,隐藏真实 IP 。

(三)使用方法(requests 代码 )

在 get()/post() 里加 proxies 参数,传代理的 IP 等信息,代码形式:

import requests
# 构造代理字典,http/https 按需选,值是代理地址(IP:端口 )
proxy = {'http': '代理服务器地址:端口'}  
# 请求时传 proxies,走代理访问目标网址
r = requests.get('https://www.xxx.com/', proxies=proxy)  
print(r.text)

比如代理地址是 115.29.199.168:1188 ,就写成 proxy = {'http': '115.29.199.168:1188'} ,请求时带着它,数据就会走代理服务器转发 。

注意:免费代理有时效性,可能用着用着就失效,实际项目常用付费、稳定的代理~

这样,会话维持(靠 Session 自动管 Cookie )和代理服务器(当 “中转站” 防封禁 )的核心就讲清楚啦,代码怎么写、作用是啥,都能快速 get !

 

http://www.xdnf.cn/news/15637.html

相关文章:

  • github不能访问怎么办
  • echart设置trigger: ‘axis‘不显示hover效果
  • C 语言基础第 08 天:数组与冒泡排序
  • HTTPS的工作原理及DNS的工作过程
  • 相位中心偏置天线的SAR动目标检测
  • 基于Echarts的气象数据可视化网站系统的设计与实现(Python版)
  • 【LeetCode 热题 100】108. 将有序数组转换为二叉搜索树
  • Git 多人协作实战:从基础操作到分支管理全流程记录
  • 深入了解linux系统—— 信号的捕捉
  • 如何将 ONLYOFFICE 文档集成到使用 Laravel 框架编写的 PHP 网络应用程序中
  • Nginx/OpenResty HTTP 请求处理阶段与 Lua 实践全解20250717
  • Java 大视界 -- Java 大数据在智能交通智能公交站台乘客流量预测与服务优化中的应用(349)
  • Zabbix 分布式监控系统架构设计与优化
  • iOS 构建配置与 AdHoc 打包说明
  • Spring Boot整合阿里云OSS企业级实践:高可用文件存储解决方案
  • 川翔云电脑:云端算力新标杆,创作自由无边界
  • javax.servlet.http.HttpServletResponse;API导入报错解决方案
  • LeetCode热题100【第二天】
  • Linux 基础学习
  • MySQL安全修改表结构、加索引:ON-Line-DDL工具有哪些
  • 安装wsl-Ubuntu到D盘
  • 模型材质一键替换~轻松还原多种三维场景
  • Qt软键盘
  • 河南萌新联赛2025第(一)场:河南工业大学(补题)
  • python脚本调用 ffmpeg 针对MP3转通道
  • 数分思维:02——京东app产品分析
  • mysql学习笔记
  • 力扣119:杨辉三角Ⅱ
  • Kotlin密封类
  • 独家|理想汽车放弃华为PBC模式,回归OKR理想汽车