使用Python抓取豆瓣电影评论并分析词云生成词云图

目录

一、引言

二、抓取海王豆瓣电影评论

导入所需库

发送GET请求并获取HTML内容

使用BeautifulSoup解析HTML

使用BeautifulSoup库，选择'lxml'作为解析器，对获取到的HTML内容进行解析。

写入评论到Excel文件

三、分析词云

1.导入所需库

 2.读取Excel文件并分词

   词性标注 

  统计词频并生成词云        

  可视化结果展示

四、结论

---

    

一、引言

在当今的数字化时代，网络上的信息量巨大。豆瓣电影作为中国最大的电影评论网站之一，吸引了大量的用户分享他们的观影体验。本文将介绍如何使用Python抓取豆瓣电影的评论，并通过词云分析来展示评论中的高频词汇，使用Python的词云生成库，可以将文本数据转换为词云图。这涉及到词云生成、可视化等方面的知识。通过实践，可以掌握词云生成的基本方法和技巧，并了解如何将文本数据以更加直观的方式呈现出来。

二、抓取海王豆瓣电影评论

1. 导入所需库

2. 发送GET请求并获取HTML内容

   1. 使用requests.get方法发送GET请求到上面定义的URL，并传入请求头。
   2. 获取到的HTML内容存储在html变量中。

3. 使用BeautifulSoup解析HTML

   1. 使用BeautifulSoup库，选择'lxml'作为解析器，对获取到的HTML内容进行解析。

   2. 使用soup.find_all('span', class_='short')查找所有class为'short'的<span>标签元素，这些元素可能包含电影的短评。这些评论存储在comments列表中

4. 写入评论到Excel文件

   1. 遍历所有抓取到的评论。
   2. 对于每个评论，将其文本内容添加到Excel工作表的当前行中。
   3. 在每次添加评论后，代码会等待一个随机时间（0到3秒之间），这是为了避免过于频繁地抓取数据，防止被豆瓣服务器屏蔽

5. 保存Excel文件:

   • 最后，使用wb.save('comment.xlsx')将Excel文件保存为comment.xlsx。

import requests  
from bs4 im