当前位置：首页 > java >正文

利用爬虫获取 1688 商品详情：高效的数据采集方法

java 2025/7/4 20:13:41

在当今竞争激烈的电商市场中，获取精准的商品数据对于商家来说至关重要。无论是进行市场调研、优化产品列表，还是监控竞争对手，1688 平台上的商品详情都是宝贵的信息资源。本文将介绍如何利用 Python 爬虫技术高效地获取 1688 商品的详细信息，包括商品名称、价格、图片、描述等，帮助你更好地把握市场动态，优化运营策略。

一、为什么需要爬取 1688 商品详情？

1688 作为国内领先的 B2B 电商平台，拥有海量的商品资源和丰富的供应商信息。通过爬取 1688 商品详情，你可以：

市场调研：了解特定产品的市场趋势和竞争态势。
选品上架：快速找到有潜力的商品，优化你的店铺选品策略。
价格监控：实时掌握竞争对手的价格动态，调整自己的定价策略。
库存管理：获取商品的库存信息，优化库存管理。

二、准备工作

（一）安装必要的 Python 库

为了实现爬虫功能，我们需要安装以下 Python 库：

requests：用于发送 HTTP 请求。
BeautifulSoup：用于解析 HTML 内容。
Selenium：用于处理动态加载的内容。

可以通过以下命令安装这些库：

bash

pip install requests beautifulsoup4 selenium

（二）下载 ChromeDriver

为了使用 Selenium，需要下载与浏览器版本匹配的 ChromeDriver，并确保其路径正确配置。可以从 ChromeDriver 下载页面获取。

三、编写爬虫代码

（一）发送 HTTP 请求

使用 requests 库发送 GET 请求，获取商品页面的 HTML 内容。

Python

import requestsdef get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print("Failed to retrieve the page")return None

（二）解析 HTML 内容

使用 BeautifulSoup 解析 HTML 内容，提取商品详情。

Python

from bs4 import BeautifulSoupdef parse_html(html):soup = BeautifulSoup(html, 'html.parser')product_info = {}# 提取商品名称product_name = soup.find('h1', class_='product-title').text.strip()product_info['product_name'] = product_name# 提取商品价格product_price = soup.find('span', class_='price').text.strip()product_info['product_price'] = product_price# 提取商品描述product_description = soup.find('div', class_='product-description').text.strip()product_info['product_description'] = product_description# 提取商品图片product_image = soup.find('img', class_='main-image')['src']product_info['product_image'] = product_imagereturn product_info

（三）处理动态加载的内容

如果商品详情页的内容是动态加载的，可以使用 Selenium 获取完整的页面内容。

Python

from selenium import webdriver
import timedef get_html_dynamic(url):options = webdriver.ChromeOptions()options.add_argument('--headless')  # 无头模式driver = webdriver.Chrome(options=options)driver.get(url)# 等待页面加载完成time.sleep(3)html = driver.page_sourcedriver.quit()return html

（四）完整示例代码

结合动态加载的内容，完整的示例代码如下：

Python

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import timedef get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print("Failed to retrieve the page")return Nonedef get_html_dynamic(url):options = webdriver.ChromeOptions()options.add_argument('--headless')  # 无头模式driver = webdriver.Chrome(options=options)driver.get(url)# 等待页面加载完成time.sleep(3)html = driver.page_sourcedriver.quit()return htmldef parse_html(html):soup = BeautifulSoup(html, 'html.parser')product_info = {}# 提取商品名称product_name = soup.find('h1', class_='product-title').text.strip()product_info['product_name'] = product_name# 提取商品价格product_price = soup.find('span', class_='price').text.strip()product_info['product_price'] = product_price# 提取商品描述product_description = soup.find('div', class_='product-description').text.strip()product_info['product_description'] = product_description# 提取商品图片product_image = soup.find('img', class_='main-image')['src']product_info['product_image'] = product_imagereturn product_infodef main():url = "https://detail.1688.com/offer/123456789.html"html = get_html_dynamic(url)  # 使用动态加载的方式获取页面内容if html:product_info = parse_html(html)print("商品名称:", product_info['product_name'])print("商品价格:", product_info['product_price'])print("商品描述:", product_info['product_description'])print("商品图片:", product_info['product_image'])if __name__ == "__main__":main()