当前位置：首页 > news >正文

[python爬虫]Scrapy入门使用教程

news 2025/6/6 10:36:26

开发环境

python: 3.7
系统: windows10
编辑器: PyCharm Community

文档地址

Scrapy官方文档：http://doc.scrapy.org/en/latest
Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

Demo地址

https://gitee.com/fengzxia/python_crawler_learning/tree/master/scrapy/qiushibaike

安装

通过 pip install scrapy 即可快速安装

注意：
在ubuntu上安装scrapy之前，需要先执行下边的命令安装依赖：
sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
然后再通过 pip install scrapy 安装
如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32

快速入门

1. 创建项目

要使用Scrapy框架创建项目，需要通过命令来创建。首先进入到你想把这个项目存放的目录。然后使用以下命令创建：

scrapy startproject [项目名称]

2. 目录结构介绍

以下介绍主要文件的作用

items.py: 用来存放爬虫爬取下来数据的模型
middlewares.py: 用来存放各种中间件的文件
pipelines.py: 用来将items的模型存储到本地磁盘中
settings.py: 本爬虫的一些配置信息（比如请求头、多久发送一次请求、ip代理池等）
scrapy.cfg: 项目的配置文件
spiders包: 以后所有的爬虫，都是存放到这个里面

3. 使用Scrapy框架爬取糗事百科

使用命令创建一个爬虫
scrapy startproject qsbk
创建了一个名叫qsbk的爬虫

修改settings.py代码
在做爬虫之前，一定要记得修改setting.py中的设置，下边有两个地方是强烈建议设置的
1. ROBOTSTXT_OBEY: 设置为False。默认是True。即遵守机器协议，那么在爬虫的时候，scrapy首先去找robots.txt文件，如果没有找到。则直接停止爬取。
2. USER_AGENT: 设置请求头，将爬虫伪装成正常请求，不设置直接请求会报错，错误信息如下

2019-07-11 16:08:58 [scrapy.core.scraper] ERROR: Error downloading <GET https://www.qiushibaike.com/text/1>
Traceback (most recent call last):File "C:\Users\fengz\AppData\Local\Programs\Python\Python37\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_requestdefer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

4. 完整的爬虫代码

items.py 部分代码

import scrapyclass QsbkItem(scrapy.Item):author = scrapy.Field()content = scrapy.Field()

spiders包下新建一个爬虫脚本 qsbk_spider.py 代码如下

import scrapy
from qsbk.items import QsbkItemclass QsbkSpider(scrapy.Spider):name = "qsbk"allowed_domains = ['qiushibaike.com']start_urls = ['https://www.qiushibaike.com/text/1']def parse(self, response):outerbox = response.xpath("//div[@id='content-left']/div")items = []for box in outerbox:author = str(box.xpath("div[@class='author clearfix']/a/h2/text()").extract_first()).strip()content = str(box.xpath("a/div[@class='content']/span/text()").extract_first()).strip()item = QsbkItem()item['author'] = authoritem['content'] = contentitems.append(item)return items

这里也可以通过输入 scrapy genspider [爬虫名字] [域名] 在 spiders包下来生成爬虫相关代码：

通过命令生成爬虫代码

scrapy genspider qsbk www.qiushibaike.com

生成的代码如下，然后再稍作修改

import scrapyclass Qsbk Spider(scrapy.Spider):name = 'qsbk 'allowed_domains = ['www.qiushibaike.com']start_urls = ['http://www.qiushibaike.com/']def parse(self, response):pass

name: 这个爬虫的名字，名字必须是唯一的
allow_domains: 允许的域名。爬虫只会爬取这个域名下的网页，其他不是这个域名下的网页会被自动忽略
start_urls: 爬虫从这个变量中的url开始
parse方法: 引擎会把下载器下载回来的数据扔给爬虫解析，爬虫再把数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个，第一个是提取想要的数据。第二个是生成下一个请求的url
这里使用的是xpath方式提取的数据

extract_first(): 获取通过xpath提取的第一条数据，还有 extract()、getall()、get()写法

方法名	描述
`extract()`	返回的是一个list，里面包含了多个string，如果只有一个string，则返回[‘我很孤独’]这样的形式
`extract_first()`	返回的是string，list里面第一个string
`getall()`	同`extract()`一样返回的是list
`get()`	同`extract_first()`一样返回的是string

strip(): 去除字符串中的空格
str(): 将内容转为 字符串 类型，因为有些时候 extract_first() 返回的类型不匹配，不能使用strip()

Scrapy为QsbkSpider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。
Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。