当前位置：首页 > news >正文

Jsoup解析商品信息具体怎么写？

news 2025/5/22 12:35:27

使用 Jsoup 解析商品信息是一个常见的任务，尤其是在爬取电商网站的商品详情时。以下是一个详细的步骤和代码示例，展示如何使用 Jsoup 解析商品信息。

一、准备工作

确保你的项目中已经添加了 Jsoup 依赖。如果你使用的是 Maven，可以在 pom.xml 文件中添加以下依赖：

xml

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.14.3</version>
</dependency>

二、解析商品信息

假设我们已经获取了商品列表页面的 HTML 内容，接下来我们将使用 Jsoup 解析这些内容，提取商品信息。

（一）解析 HTML 内容

使用 Jsoup 解析 HTML 内容，提取商品列表中的商品信息。

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.HashMap;public class HtmlParser {public static List<Map<String, String>> parseHtml(String html) {List<Map<String, String>> products = new ArrayList<>();Document document = Jsoup.parse(html);// 假设商品列表中的每个商品项都在一个 div.product-item 中Elements productItems = document.select("div.product-item");for (Element item : productItems) {Map<String, String> product = new HashMap<>();// 提取商品名称String title = item.select("h2.product-title").first().text();product.put("title", title);// 提取商品价格String price = item.select("span.product-price").first().text();product.put("price", price);// 提取商品描述String description = item.select("div.product-description").first().text();product.put("description", description);// 提取商品图片 URLString imageUrl = item.select("img.product-image").first().attr("src");product.put("image_url", imageUrl);products.add(product);}return products;}
}

三、发送 HTTP 请求并解析商品信息

以下是一个完整的示例，展示如何发送 HTTP 请求获取商品列表页面的 HTML 内容，并解析商品信息。

java

import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;import java.util.List;
import java.util.Map;public class ProductListCrawler {public static String getHtml(String url) {try (CloseableHttpClient client = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36");return EntityUtils.toString(client.execute(request).getEntity());} catch (Exception e) {e.printStackTrace();return null;}}public static List<Map<String, String>> getProductListByKeyword(String baseUrl, String keyword, int page) {String url = baseUrl + "?keyword=" + keyword + "&page=" + page;String html = getHtml(url);if (html != null) {return HtmlParser.parseHtml(html);}return new ArrayList<>();}public static void main(String[] args) {String baseUrl = "https://example.com/search"; // 替换为目标平台的商品列表页面 URLString keyword = "耳机"; // 替换为实际关键词int page = 1; // 替换为实际页码List<Map<String, String>> products = getProductListByKeyword(baseUrl, keyword, page);for (Map<String, String> product : products) {System.out.println("商品名称: " + product.get("title"));System.out.println("商品价格: " + product.get("price"));System.out.println("商品描述: " + product.get("description"));System.out.println("商品图片URL: " + product.get("image_url"));System.out.println("----------------------------");}}
}