当前位置：首页 > web >正文

网页抓取混淆与嵌套数据处理流程

web 2025/6/28 14:56:30

当我们在网页抓取中，遇到混淆和多层嵌套的情况是比较常见的挑战。混淆大部分都是为了防止爬虫而设计的，例如使用JavaScript动态加载、数据加密、字符替换、CSS偏移等。多层嵌套则可能是指HTML结构复杂，数据隐藏在多层标签或者多个iframe中。

在这里插入图片描述

那么遇到这样的问题，通常的情况的需要结合多种技术手段来处理，一下就是我整理的具体系统化的解决方案：

一、混淆处理策略

动态渲染对抗

使用无头浏览器：Playwright/Puppeteer/Selenium

from playwright.sync_api import sync_playwrightwith sync_playwright() as p:browser = p.chromium.launch()page = browser.new_page()page.goto(url)# 处理延迟加载page.wait_for_selector('.target-element', timeout=10000)html = page.content()browser.close()

CSS偏移混淆

解析CSS样式规则：

from bs4 import BeautifulSoup
import redef decrypt_css_offset(html):soup = BeautifulSoup(html, 'lxml')style_tags = soup.find_all('style')mapping = {}for tag in style_tags:# 提取CSS规则rules = re.findall(r'\.(.+?){left:(.+?)px', tag.text)for class_name, offset in rules:mapping[class_name] = -int(offset.replace(';', ''))return mapping

字体反爬破解

字体文件解析：

from fontTools.ttLib import TTFontdef parse_font(font_path):font = TTFont(font_path)cmap = font.getBestCmap()glyph_names = [font['glyf'][g].getGlyphName() for g in cmap.values()]# 建立编码到实际字符的映射return {hex(k): v for k, v in zip(cmap.keys(), glyph_names)}

二、多层嵌套处理技巧

智能路径生成

def smart_extract(html):soup = BeautifulSoup(html, 'lxml')# 寻找数据密集区域data_container = soup.find(lambda tag: len(tag.find_all()) > 10 and tag.text.strip())# 自动化生成XPathpath = []while data_container:path.insert(0, data_container.name)data_container = data_container.parentreturn " > ".join(path)

多级JSON解析

import jsondef extract_nested_json(data):results = []if isinstance(data, dict):for key, value in data.items():if key == 'targetKey':results.append(value)else:results.extend(extract_nested_json(value))elif isinstance(data, list):for item in data:results.extend(extract_nested_json(item))return results

三、综合解决方案

处理流程：

四、高级技巧

机器学习辅助

使用预训练模型识别数据区域

# 伪代码示例
from sklearn.ensemble import RandomForestClassifier# 特征：标签深度/子节点数/文本长度等
clf = RandomForestClassifier()
clf.fit(features, labels)  # 预先标注样本训练

动态XPath生成

def generate_xpath(element):components = []while element.parent is not None:siblings = element.find_previous_siblings(element.name)position = len(siblings) + 1 if siblings else 1components.insert(0, f"{element.name}[{position}]")element = element.parentreturn '/' + '/'.join(components)

反调试绕过

# Playwright 示例
page = browser.new_page()
# 屏蔽开发者工具检测
page.add_init_script("""
window.console.debug = () => {};
Object.defineProperty(navigator, 'webdriver', {get: () => false});
""")

五、调试与优化

数据校验机制

def validate_data(data):patterns = {'phone': r'\d{3}-\d{4}-\d{4}','email': r'[\w.-]+@[\w.-]+\.\w+'}for field, pattern in patterns.items():if not re.match(pattern, data.get(field, '')):logging.warning(f"Invalid {field} format: {data[field]}")

自适应重试策略

import random
from tenacity import retry, wait_exponential@retry(wait=wait_exponential(multiplier=1, max=60))
def fetch_with_retry(url):# 随机切换UAheaders = {'User-Agent': random.choice(USER_AGENTS)}response = requests.get(url, headers=headers)response.raise_for_status()return response