Python网络爬虫实现selenium对百度识图二次开发以及批量保存Excel
一.百度识图自动上传图片
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By
edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=edge_options)
driver.get('https://graph.baidu.com/pcpage/index?tpl_from=pc')
driver.find_element(by=By.NAME, value='file').send_keys(r"D:\7.18\图1.jpg")
input('')代码讲解：百度识图自动上传图片
这段代码使用 Selenium 库实现了自动打开百度识图网页并上传本地图片的功能。下面是对代码的逐行解释：
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By- 导入必要的 Selenium 模块：
webdriver用于控制浏览器，Options用于配置浏览器选项，By用于定位网页元素。
edge_options = Options()
edge_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
- 创建 Edge 浏览器的配置选项对象，并指定 Edge 浏览器的安装路径。这一步是可选的，如果 Edge 浏览器已添加到系统 PATH 中，可以省略。
driver = webdriver.Edge(options=edge_options)- 初始化 Edge 浏览器驱动，创建一个可以控制浏览器的驱动对象。
driver.get('https://graph.baidu.com/pcpage/index?tpl_from=pc')- 使用浏览器打开百度识图的网页。
driver.find_element(by=By.NAME, value='file').send_keys(r"D:\7.18\图1.jpg")
- 定位网页上的文件上传元素（通过元素的
name属性值为file来查找）。 - 使用
send_keys()方法模拟键盘输入，将本地图片的路径发送给上传元素，从而实现自动上传图片。
input('')不启动浏览器获取网页资源
上述代码使用了 Selenium WebDriver，它需要启动一个真实的浏览器来执行操作。如果只需要获取网页的静态资源（如 HTML 内容、JSON 数据等），可以使用更轻量级的库，如requests：
- 程序会在此处暂停，等待用户输入（按 Enter 键）后才会继续执行并关闭浏览器。这通常用于调试时暂停程序，方便查看结果。
Selenium WebDriver 更多操作解释
元素交互方法：
click()：模拟鼠标点击元素，常用于按钮、链接等可点击元素。send_keys(text)：模拟键盘输入文本到输入框等元素中。clear()：清空输入框中的内容。submit()：提交表单，通常用于表单中的提交按钮。
浏览器导航方法：
back()：模拟浏览器的后退按钮，返回上一页。forward()：模拟浏览器的前进按钮，前进到下一页。refresh()：刷新当前页面。get(url)：打开指定 URL 的网页。current_url：获取当前页面的 URL。
浏览器控制方法：
close()：关闭当前浏览器窗口。quit()：退出整个浏览器进程，关闭所有窗口。maximize_window()：最大化浏览器窗口。set_window_size(width, height)：设置浏览器窗口大小。
元素定位方法：
find_element(By.ID, value)：通过元素 ID 定位。find_element(By.NAME, value)：通过元素 name 属性定位。find_element(By.CSS_SELECTOR, value)：通过 CSS 选择器定位。find_element(By.XPATH, value)：通过 XPath 表达式定位。find_elements()：返回所有匹配的元素列表。
import requestsurl = 'https://graph.baidu.com/pcpage/index?tpl_from=pc'
response = requests.get(url)if response.status_code == 200:# 获取网页的HTML内容html_content = response.textprint(html_content)
else:print(f"请求失败，状态码：{response.status_code}")二.批量获取 Excel 相关图书信息
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
def get_info(driver):time.sleep(5)eles_p = driver.find_elements(By.CLASS_NAME, 'book_item')print(f"找到 {len(eles_p)} 个图书项") # 调试输出for ele_p in eles_p:ele_p.click()handles = driver.window_handlesdriver.switch_to.window(handles[-1])time.sleep(5)name = driver.find_element(By.CLASS_NAME, 'book-name').textprice = driver.find_element(By.CLASS_NAME, 'price').textauthor = driver.find_element(By.CLASS_NAME, 'book-author').textfile.write(f'图书名：{name}\t价格：{price}\t作者名：{author}\n')print(f"已保存：{name}") # 调试输出driver.close()driver.switch_to.window(handles[-2]) # 回到上一个标签页（索引-2）
file = open('excel图书汇总.txt', 'w', encoding='utf-8')
chrome_options = Options()
chrome_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=chrome_options)
driver.get('https://www.ptpress.com.cn/')
elements = driver.find_elements(By.TAG_NAME, "input")
elements[0].send_keys("excel" + Keys.RETURN)
handles = driver.window_handles
driver.switch_to.window(handles[1])
driver.find_element(By.ID, "booksMore").click()
handles = driver.window_handles
driver.switch_to.window(handles[-1])
get_info(driver)
page_num = 1 # 记录当前页码
while True:try:# 尝试查找下一页按钮next_button = driver.find_element(By.CLASS_NAME, 'ivu-page-next')# 检查按钮是否禁用（不同网站禁用状态的class可能不同，需要根据实际情况调整）if 'ivu-page-disabled' in next_button.get_attribute('class'):print(f"已到达最后一页（第{page_num}页），停止爬取")breaknext_button.click()page_num += 1print(f"已翻到第{page_num}页")time.sleep(3) # 等待页面加载get_info(driver)except Exception as e:print(f"爬取过程中出错：{e}")print(f"最后成功爬取的是第{page_num}页")break
file.close()
driver.quit() # 关闭浏览器代码讲解：批量获取 Excel 相关图书信息
这段代码使用 Selenium 自动化浏览器操作，从人民邮电出版社网站批量获取 Excel 相关图书的信息，并保存到文本文件中。下面是对代码的详细解释：
整体流程分析
这个程序主要分为以下几个部分：
- 浏览器初始化与搜索
- 信息提取函数
- 翻页与循环处理
- 异常处理与资源释放
代码详细解释
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time- 导入必要的库：Selenium 相关模块用于控制浏览器，time 模块用于添加等待时间。
def get_info(driver):time.sleep(5)eles_p = driver.find_elements(By.CLASS_NAME, 'book_item')print(f"找到 {len(eles_p)} 个图书项") # 调试输出for ele_p in eles_p:ele_p.click()handles = driver.window_handlesdriver.switch_to.window(handles[-1])time.sleep(5)name = driver.find_element(By.CLASS_NAME, 'book-name').textprice = driver.find_element(By.CLASS_NAME, 'price').textauthor = driver.find_element(By.CLASS_NAME, 'book-author').textfile.write(f'图书名：{name}\t价格：{price}\t作者名：{author}\n')print(f"已保存：{name}") # 调试输出driver.close()driver.switch_to.window(handles[-2]) # 回到上一个标签页（索引-2）- get_info 函数：负责从当前页面提取图书信息
- 等待 5 秒让页面加载完成
- 查找所有图书项元素
- 遍历每个图书项，点击打开详情页
- 切换到新打开的标签页
- 提取书名、价格和作者信息并写入文件
- 关闭当前标签页，回到图书列表页
file = open('excel图书汇总.txt', 'w', encoding='utf-8')
chrome_options = Options()
chrome_options.binary_location = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe"
driver = webdriver.Edge(options=chrome_options)
driver.get('https://www.ptpress.com.cn/')- 打开文件用于保存数据
- 配置并启动 Edge 浏览器
- 访问人民邮电出版社网站
elements = driver.find_elements(By.TAG_NAME, "input")
elements[0].send_keys("excel" + Keys.RETURN)
handles = driver.window_handles
driver.switch_to.window(handles[1])
driver.find_element(By.ID, "booksMore").click()
handles = driver.window_handles
driver.switch_to.window(handles[-1])
get_info(driver)- 找到搜索框并输入 "excel" 进行搜索
- 切换到搜索结果页面
- 点击 "更多图书" 按钮
- 切换到新打开的图书列表页面
- 调用 get_info 函数提取第一页的图书信息
page_num = 1 # 记录当前页码
while True:try:# 尝试查找下一页按钮next_button = driver.find_element(By.CLASS_NAME, 'ivu-page-next')# 检查按钮是否禁用if 'ivu-page-disabled' in next_button.get_attribute('class'):print(f"已到达最后一页（第{page_num}页），停止爬取")breaknext_button.click()page_num += 1print(f"已翻到第{page_num}页")time.sleep(3) # 等待页面加载get_info(driver)except Exception as e:print(f"爬取过程中出错：{e}")print(f"最后成功爬取的是第{page_num}页")break- 实现自动翻页功能：
- 查找下一页按钮
- 检查按钮是否被禁用（表示已到最后一页）
- 点击下一页按钮并更新页码
- 等待页面加载后继续提取信息
- 使用 try-except 捕获异常，确保程序健壮性
file.close()
driver.quit() # 关闭浏览器- 关闭文件和浏览器，释放资源
代码优化建议
等待机制改进：
- 使用显式等待替代固定的 time.sleep ()，提高代码稳定性
- 示例：
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC# 等待图书项元素加载完成
eles_p = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'book_item'))
)异常处理增强：
- 在 get_info 函数中添加元素查找的异常处理
- 示例：
try:name = driver.find_element(By.CLASS_NAME, 'book-name').text
except:name = "未找到书名"数据存储优化：
- 考虑将数据保存为 CSV 或 Excel 格式，便于后续处理
- 示例：
import csvwith open('books.csv', 'w', newline='', encoding='utf-8') as csvfile:writer = csv.writer(csvfile)writer.writerow(['图书名', '价格', '作者名'])writer.writerow([name, price, author])增加日志记录：
- 使用 logging 模块替代简单的 print 语句，便于调试和追踪
- 示例：
import logginglogging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logging.info(f"找到 {len(eles_p)} 个图书项")这个程序通过自动化浏览器操作，成功实现了批量获取图书信息的功能。通过合理的优化，可以进一步提高代码的稳定性和可维护性。