python爬虫：grequests的详细使用（基于gevent和requests的异步HTTP请求库）
更多内容请见： 爬虫和逆向教程-专栏介绍和目录
文章目录
- 一、grequests 概述
- 1.1 grequests 介绍
- 1.2 注意事项
- 1.3 替代方案比较
- 1.4 基本组件
- 1.5 grequests 安装
- 二、基本用法
- 2.1 创建请求任务
- 2.2 发送请求并获取响应
- 2.3 带参数的请求
- 三、高级用法
- 3.1 自定义回调函数
- 3.2 设置超时时间
- 3.3 失败重试机制
- 3.4 控制最大并发数（推荐）
- 3.5 会话保持
- 3.6 结合生成器减少内存使用
- 3.7 网站状态检查
- 四、案例脚本
- 4.1 批量抓取网页内容
- 4.2 API数据抓取
一、grequests 概述
1.1 grequests 介绍
grequests 是一个基于 gevent 和 requests 的异步 HTTP 请求库，它允许你使用非阻塞 I/O 来并发执行多个 HTTP 请求，它允许你以非常高效的方式发送大批量HTTP请求。。相比普通的 requests 库（同步方式），grequests 能显著提升爬虫或 API 客户端的性能，尤其是在需要发起大量请求时。
GitHub地址: https://github.com/kennethreitz/grequests
1.2 注意事项
| 注意点 | 说明 |
|---|