当前位置: 首页 > news >正文

【采集软件】根据关键词批量采集小红薯,含笔记正文、笔记链接、发布时间、转评赞藏等

一、背景介绍

1.1 爬取目标

熟悉我的小伙伴都了解,我之前开发过2款软件:

【采集软件】用Python开发的小红薯搜索采集工具,支持多关键词同时!
【采集软件】用Python开发的小红薯详情批量采集工具,含笔记正文、转评赞藏等

现在介绍的这个软件,相当于以上2个软件的结合版,即根据关键词爬取笔记的详情数据。

开发界面软件的目的:方便不懂编程代码的小白用户使用,无需安装python,无需改代码,双击打开即用!

软件界面截图:软件运行界面

爬取结果截图:

结果截图1:结果截图1

结果截图2:结果截图2

结果截图3:结果截图3

以上。

1.2 演示视频

不懂编程的小白直接看视频,了解软件作用,无需看代码!!

【软件演示】爬小红薯条搜索详情软件

1.3 软件说明

几点重要说明:
软件说明
以上。

二、代码讲解

2.1 爬虫采集-搜索接口

首先,定义接口地址作为请求地址:

# 请求地址
url = 'https://edith.xiaohongshu.com/api/sns/web/v1/search/notes'

定义一个请求头,用于伪造浏览器:

# 请求头
h1 = {'Accept': 'application/json, text/plain, */*','Accept-Encoding': 'gzip, deflate, br','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','Content-Type': 'application/json;charset=UTF-8','Cookie': '换成自己的cookie值','Origin': 'https://www.xiaohongshu.com','Referer': 'https://www.xiaohongshu.com/','Sec-Ch-Ua': '"Microsoft Edge";v="119", "Chromium";v="119", "Not?A_Brand";v="24"','Sec-Ch-Ua-Mobile': '?0','Sec-Ch-Ua-Platform': '"macOS"','Sec-Fetch-Dest': 'empty','Sec-Fetch-Mode': 'cors','Sec-Fetch-Site': 'same-site','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
}

加上请求参数,告诉程序你的爬取条件是什么:

# 请求参数
post_data = {"keyword": search_keyword,
http://www.xdnf.cn/news/829909.html

相关文章:

  • HarmonyOS开发指南:鸿蒙编译工具链
  • 深入浅出理解Allan方差分析方法
  • ubuntu or kylinos软件安装错误的终极解决方案
  • HBT机制
  • 四种常见的登录方案
  • 冒泡排序算法详解之C语言版
  • spss分析方法-因子分析(转载)
  • 关于控制台头文件stdafx.h的解决方法。
  • 操作系统系列:快速了解C程序的编译及运行
  • 遍历map的四种方法及Map.entry详解
  • C#中的`Console.WriteLine`函数及其使用方法
  • 9大代理服务器软件的比较与分析之校园局域网代理蝴蝶
  • python创意项目设计方案,python创意编程作品集
  • java:printStackTrace()方法
  • 【Opencv】目标追踪——高斯混合模型分离算法(MOG)
  • Oracle客户端软件的使用
  • Keil_uvision 基本使用教程
  • XHTML基础入门教程
  • Linux中的僵尸进程与wait函数、waitpid函数详解(附图解与代码实现)
  • 空间数据分析和空间统计工具库PySAL入门
  • 分布式系统中的“无状态”和“有状态”详解
  • 端口聚合、端口镜像及ACL实验
  • 实用网站大全
  • ScaleType的各种类型的白话解释
  • Activex、OLE、COM、OCX、DLL之间区别、联系
  • MATLAB 的gui详细设计
  • 什么是RoR
  • 程序员的自我修养
  • C语言中的数据结构及编程实例
  • 【sylar】框架篇-Chapter9-hook 模块