当前位置：首页 > news >正文

如何利用 Java 爬虫获得京东（JD）商品详情：实战指南

news 2025/5/16 21:11:54

在电商领域，京东（JD）作为国内知名的电商平台，提供了丰富的商品信息。通过 Java 爬虫技术，我们可以高效地获取京东商品的详细信息，包括商品名称、价格、图片、描述等。这些信息对于数据分析、价格监控、商品推荐等场景具有重要价值。本文将详细介绍如何使用 Java 爬虫技术获取京东商品详情，并提供完整的代码示例。

一、环境准备

（一）注册京东开放平台账号

要使用京东商品详情 API，首先需要在京东开放平台（https://open.jd.com/）注册账号，并创建应用以获取 App Key 和 App Secret。这些是调用 API 所必需的凭证。

（二）安装必要的 Java 库

确保你的项目中已经添加了以下依赖库：

Apache HttpClient：用于发送 HTTP 请求。
Jackson：用于处理 JSON 数据。

在 pom.xml 文件中添加以下依赖：

xml

<dependencies><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.10.0</version></dependency>
</dependencies>

二、代码实现

（一）发送 HTTP 请求

使用 Apache HttpClient 发送 GET 请求，获取商品详情页面的 HTML 内容。

java

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;public class JDProductCrawler {public static String getHtml(String url) throws Exception {try (CloseableHttpClient httpClient = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");try (CloseableHttpResponse response = httpClient.execute(request)) {if (response.getStatusLine().getStatusCode() == 200) {return EntityUtils.toString(response.getEntity());} else {throw new Exception("Failed to get HTML content. Status code: " + response.getStatusLine().getStatusCode());}}}}
}

（二）解析 HTML 内容

使用 Jsoup 解析 HTML 内容，提取商品详情。Jsoup 是一个非常强大的 HTML 解析库，可以方便地从 HTML 文档中提取数据。

在 pom.xml 文件中添加 Jsoup 依赖：

xml

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version>
</dependency>

解析 HTML 内容的代码如下：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.util.HashMap;
import java.util.Map;public class JDProductParser {public static Map<String, String> parseHtml(String html) {Map<String, String> productDetails = new HashMap<>();Document doc = Jsoup.parse(html);// 提取商品名称Elements titleElements = doc.select("div.sku-name");if (!titleElements.isEmpty()) {productDetails.put("name", titleElements.first().text().trim());}// 提取商品价格Elements priceElements = doc.select("span.price.J-p-123456");if (!priceElements.isEmpty()) {productDetails.put("price", priceElements.first().text().trim());}// 提取商品图片Elements imageElements = doc.select("img#spec-img");if (!imageElements.isEmpty()) {String imageUrl = imageElements.first().attr("src");if (!imageUrl.startsWith("http")) {imageUrl = "https:" + imageUrl; // 转换为绝对路径}productDetails.put("image", imageUrl);}return productDetails;}
}

（三）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序。

java

import java.util.Map;public class Main {public static void main(String[] args) {String productUrl = "https://item.jd.com/123456.html"; // 替换为实际商品页面 URLtry {String html = JDProductCrawler.getHtml(productUrl);Map<String, String> productDetails = JDProductParser.parseHtml(html);System.out.println("商品名称: " + productDetails.get("name"));System.out.println("商品价格: " + productDetails.get("price"));System.out.println("商品图片: " + productDetails.get("image"));} catch (Exception e) {e.printStackTrace();}}
}