Python语言一键整理xhs评论 基于github的开源项目 MediaCrawler
数码博客日志:用Python与MediaCrawler实现xhs评论一键整理
博主的PC系统是Windows,已经提前部署好了Anaconda、Python等开发环境,并安装了Pycharm。
虽然博主对Python知识仅有一些基础了解,但在几个小时内成功实现了一键整理xhs特定帖子的评论。
步骤 1:安装Nodejs
首先,博主安装了Nodejs,并将其部署到系统环境中。这个步骤为接下来的项目部署提供了必要的环境支持。
步骤 2:部署GitHub上的开源项目 - MediaCrawler
接着,博主通过Powershell部署了GitHub上的开源项目MediaCrawler,这个工具能够帮助抓取并整理xhs上的帖子和评论内容。
步骤 3:调整项目代码
在本地项目文件夹中,博主进入到项目的根目录,并根据需要对关键代码文件进行了一些调整。特别是修改了base_config.py和xhs_config.py文件,以便能够灵活地检索和整理评论数据。
步骤 4:运行项目并整理评论
在文件夹地址栏输入cmd,按回车键后打开命令行窗口,输入以下代码即可开始整理评论并导出为Excel文件:
示例1:关键词检索
在base_config.py文件中设定检索的关键词,使用如下命令进行检索:
python main.py --platform xhs --lt qrcode --type search
示例2:整理特定帖子的评论
在xhs_config.py中输入xhs帖子的链接,然后执行命令来整理该帖子的评论:
python main.py --platform xhs --lt qrcode --type detail
注意事项
以上内容仅用于个人查询和学习参考。请勿过度使用或用于商业目的。
通过简单的调整和部署,博主成功利用Python和MediaCrawler工具整理了xhs的评论数据。即使对于Python的掌握程度仅限于基础,通过开源项目和调试代码,依然可以在短时间内实现自己的需求。