当前位置: 首页 > news >正文

Selector的用法

Selector的用法

Selector是基于lxml构建的支持XPath选择器、CSS选择器,以及正则表达式,功能全面,解析速度和准确度非常高

from scrapy import Selectorbody = '<html><head><title>HelloWorld</title></head><body></body></html>'
selector = Selector(text=body)
title = selector.xpath('//title/text()').extract_first()
print(title)

单独将Selector拿出来使用    运行结果如下:

 由于Selector主要是与Scrapy结合使用

如Scrapy的回调函数中的参数response直接调用xpath()或者css()方法来提取数据

这里用官方文档中的一列做演示

Selectors — Scrapy 2.13.3 documentationhttps://doc.scrapy.org/en/latest/topics/selectors.html

在命令行使用这一行代码进入scrapy shell模式

 scrapy shell https://doc.scrapy.org/en/latest/topics/selectors.html

 

http://www.xdnf.cn/news/1139689.html

相关文章:

  • 学习日志12 python
  • .NET Core EFCore零基础快速入门简单使用
  • Ansible AWX 自动化运维
  • 【C语言进阶】内存函数
  • 网络爬虫的介绍
  • Linux C 进程基本操作
  • Linux 进程间通信
  • 计算机网络概述
  • 深入解析Hadoop:机架感知算法与数据放置策略
  • redis中间件
  • 《计算机“十万个为什么”》之什么是 feed 流
  • c++学习之---哈希表的实现(开放定址法和链地址法)
  • Ubuntu FTP服务搭建与配置
  • LVS实验
  • 尚庭公寓----------分页查询
  • 基于MATLAB的极限学习机ELM的数据回归预测方法应用
  • 快速了解网络爬虫
  • 区块链之Casper协议背景、演变发展、运作机制和潜在风险
  • 切比雪夫不等式的理解以及推导【超详细笔记】
  • Python获取网页乱码问题终极解决方案 | Python爬虫编码处理指南
  • VSCode 配置 C# 开发环境完整教程(附效果截图)
  • 透过结构看时间——若思考清洗则表达有力
  • Qt初阶开发:QMediaPlayer的介绍和使用
  • 适配器模式 (Adapter Pattern)
  • 基于MATLAB的极限学习机ELM的数据分类预测方法应用
  • 闲庭信步使用图像验证平台加速FPGA的开发:第二十一课——高斯下采样后图像还原的FPGA实现
  • 嵌入式时钟系统
  • 产品经理如何绘制流程图
  • vue中的this.$set
  • Python元组(Tuple)指南