IBM官网新闻爬虫代码示例

通常我们使用Python编写爬虫，常用的库有requests（发送HTTP请求）和BeautifulSoup（解析HTML）。但这里需要注意的是，在爬取任何网站之前，务必遵守该网站的robots.txt文件和相关法律法规，尊重网站的版权和隐私政策。

由于IBM网站的具体结构可能会变化，以下代码示例是一个通用的爬虫框架，用于爬取IBM官网（例如ibm.com）的某个页面。在实际使用中，需要根据目标页面的具体HTML结构进行调整。

以下就是我用 Python 的 requests 和 BeautifulSoup 库爬取 IBM 官网新闻页面的完整代码示例。该脚本会提取新闻标题、描述、发布日期和链接。

import requests
from bs4 import BeautifulSoup
import csv
from datetime import datetime# 配置请求头模拟浏览器访问
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36","Accept-Language": "en-US,en;q=0.9"
}def scrape_ibm_news(url):"""爬取 IBM 新闻页面数据"""response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, 'html.parser')# 查找新闻卡片容器（根据实际页面结构调整选择器）news_cards = soup.select('div.ibm--card > div.ibm--card__body')results = []for card in news_cards:try:title = card.select_one('h3.ibm--card__heading').text.strip()description = card.select_one('div.ibm--card__copy').text.strip()date_str = card.select_one('div.ibm--card__date').text.strip()link = card.select_one('a.ibm--card__footer')['href']# 转换日期格式（示例）date_obj = datetime.strptime(date_str, '%d %b %Y')formatted_date = date_obj.strftime('%Y-%m-%d')results.append({'title': title,'description': description,'date': formatted_date,'link': f"https://www.ibm.com{link}"})except Exception as e:print(f"解析错误: {str(e)}")continuereturn resultsdef save_to_csv(data, filename='ibm_news.csv'):"""保存数据到CSV文件"""with open(filename, 'w', newline='', encoding='utf-8') as f:fieldnames = ['title', 'description', 'date', 'link']writer = csv.DictWriter(f, fieldnames=fieldnames)writer.writeheader()writer.writerows(data)if __name__ == "__main__":# IBM 新闻页面URL（示例页面）news_url = "https://www.ibm.com/news"print("开始爬取 IBM 新闻...")news_data = scrape_ibm_news(news_url)if news_data:save_to_csv(news_data)print(f"成功爬取 {len(news_data)} 条新闻，已保存到 ibm_news.csv")else:print("未找到新闻数据")

关键说明：

1. 选择器调整：

   • 实际使用时需根据 IBM 网站当前 HTML 结构更新 CSS 选择器
   • 打开浏览器开发者工具（F12）检查元素
   • 示例选择器基于常见类名（如 .ibm--card）

2. 反爬虫策略：

   • 使用真实 User-Agent 头
   • 添加请求延时（避免高频请求）

   import time
   time.sleep(2)  # 每次请求间隔2秒
   

   • 使用代理 IP（如需大规模爬取）

   proxies = {'http': 'http://10.10.1.10:3128','https': 'http://10.10.1.10:1080',
   }
   response = requests.get(url, proxies=proxies)
   

3. 数据处理：

   • 日期格式转换
   • 相对链接转绝对链接
   • 错误处理避免解析中断

输出示例 (CSV 文件)：

title,description,date,link
"IBM Quantum System Two now operational","IBM's next-gen quantum system goes live",2023-11-15,https://www.ibm.com/news/quantum-system-two
"IBM partners with NASA on climate research","New AI models for climate pattern analysis",2023-11-10,https://www.ibm.com/news/nasa-partnership
...

法律注意事项：

1. 遵守 robots.txt：

   User-agent: *
   Allow: /news/
   Disallow: /search/
   

2. 尊重版权信息

3. 限制请求频率（>2秒/请求）

4. 勿用于商业用途

上面就是有关爬取代码的相关示例，然后在我们实际开发中还是建议使用官方 API（若有提供），IBM Developer 的 API Hub 可能有相关数据接口。