当前位置：首页 > web >正文

利用 Java 爬虫获取淘宝商品 SKU 详细信息实战指南

web 2025/9/3 16:00:48

在电商领域，淘宝商品的 SKU（库存单位）详细信息对于商家优化库存管理、制定价格策略以及进行市场分析具有重要价值。本文将详细介绍如何利用 Java 爬虫技术获取淘宝商品的 SKU 详细信息，并提供完整的代码示例。

一、前期准备

（一）环境搭建

确保你的开发环境中已经安装了 Java 开发工具包（JDK），并配置了环境变量。

（二）安装必要的 Java 库

通过 Maven 安装以下库，用于发送 HTTP 请求和解析 JSON 数据：

HttpClient：用于发送 HTTP 请求。
Jackson：用于解析 JSON 数据。

在 pom.xml 文件中添加以下依赖：

xml

<dependencies><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.10.0</version></dependency>
</dependencies>

二、编写爬虫代码

（一）构建 API 请求

根据淘宝开放平台的 API 文档，taobao.item_get_pro 接口的请求地址为 https://api.taobao.com/router/rest。以下是请求参数的说明：

key：AppKey。
secret：AppSecret。
item_id：商品 ID，用于指定需要获取 SKU 信息的商品。
fields：需要返回的字段列表，如 sku_properties、sku_quantities 等。

（二）生成签名

淘宝 API 接口需要对请求参数进行签名验证。以下是一个生成签名的 Java 方法示例：

java

import java.security.MessageDigest;
import java.util.TreeMap;public class ApiUtil {public static String generateSign(TreeMap<String, String> params, String appSecret) {StringBuilder paramStr = new StringBuilder();for (Map.Entry<String, String> entry : params.entrySet()) {paramStr.append(entry.getKey()).append("=").append(entry.getValue()).append("&");}paramStr.append(appSecret);return md5(paramStr.toString()).toUpperCase();}private static String md5(String str) {try {MessageDigest md = MessageDigest.getInstance("MD5");byte[] array = md.digest(str.getBytes());StringBuilder sb = new StringBuilder();for (byte b : array) {sb.append(Integer.toHexString((b & 0xFF) | 0x100).substring(1, 3));}return sb.toString();} catch (Exception e) {e.printStackTrace();return null;}}
}

（三）发送 HTTP 请求

使用 Apache HttpClient 发送 GET 请求，获取 API 返回的 JSON 数据：

java

import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import java.util.TreeMap;public class TaobaoSkuCrawler {private static final String APP_KEY = "your_app_key";private static final String APP_SECRET = "your_app_secret";public static void main(String[] args) {String itemId = "123456789"; // 替换为实际的商品 IDTreeMap<String, String> params = new TreeMap<>();params.put("key", APP_KEY);params.put("item_id", itemId);params.put("fields", "sku_properties,sku_quantities");String sign = ApiUtil.generateSign(params, APP_SECRET);params.put("sign", sign);StringBuilder urlBuilder = new StringBuilder("https://api.taobao.com/router/rest?");for (Map.Entry<String, String> entry : params.entrySet()) {urlBuilder.append(entry.getKey()).append("=").append(entry.getValue()).append("&");}String url = urlBuilder.toString().substring(0, urlBuilder.length() - 1);try (CloseableHttpClient httpClient = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);CloseableHttpResponse response = httpClient.execute(request);String jsonResponse = EntityUtils.toString(response.getEntity());System.out.println("API Response: " + jsonResponse);} catch (Exception e) {e.printStackTrace();}}
}

（四）解析返回值

解析返回的 JSON 数据，提取 SKU 详细信息：

java

import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;public class JsonUtil {public static void parseSkuDetails(String jsonResponse) throws Exception {ObjectMapper objectMapper = new ObjectMapper();JsonNode rootNode = objectMapper.readTree(jsonResponse);JsonNode skuNode = rootNode.path("item_get_pro_response").path("sku_properties");if (skuNode.isArray()) {for (JsonNode property : skuNode) {System.out.println("SKU 属性: " + property.textValue());}}}
}

（五）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序：

java

public class Main {public static void main(String[] args) {String itemId = "123456789"; // 替换为实际的商品 IDString jsonResponse = TaobaoSkuCrawler.fetchSkuDetails(itemId);if (jsonResponse != null) {try {JsonUtil.parseSkuDetails(jsonResponse);} catch (Exception e) {e.printStackTrace();}}}
}