2025五一杯数学建模竞赛B题 矿山数据处理 保姆级教程讲解｜模型讲解
完整内容请看文章最下面的推广群
DS数模-五一数学建模 B题保姆级教程思路分析+代码+数据教学
DS数模-五一数学建模竞赛 B题保姆级教程思路分析 矿山数据处理问题
下面我将以背景介绍、数据集分析、问题分析的步骤来给大家讲解B题的具体思路。
1 背景介绍
矿山监测技术的高速发展催生了海量高维、多源异构数据的产生，这类数据具有高空间分辨率、多时相（时间序列）和多维属性特征，其核心应用场景包括地质特征提取、储量估算、矿区环境监测及安全预警等。然而，数据规模的指数级增长导致存储、传输和计算资源成本激增，同时数据中的噪声、冗余和异构性对后续分析提出了严峻挑战。因此，数据压缩、降维、去噪及建模技术成为解决矿山数据处理问题的核心手段，需在精度、效率与可解释性之间实现平衡。
难点是：1 压缩与还原的权衡：降低存储成本的同时需保证还原后的数据质量（如MSE ≤ 0.005），避免关键地质特征丢失。2 噪声与数据质量：监测数据常受传感器噪声、环境干扰影响，需通过标准化和去噪提升模型稳健性。3 高维数据处理：矿山数据的高维性（如附件5）要求降维方法（如PCA、t-SNE、自编码器）在保留主要特征的前提下降低计算复杂度。4 模型泛化与解释性：需设计自适应的参数调整算法（如问题4）以应对动态监测需求，并确保重构模型（如问题5）的可解释性。
所有问题均需先进行数据清洗（缺失值处理、异常值剔除）、标准化（归一化或Z-score）及噪声分析。
2 数据集分析
数据预处理步骤：
- 读取数据并检查结构
- 处理缺失值
- 检测并处理异常值
- 数据标准化（可选）
- 保存预处理结果
具体操作和Python代码如下：
- 数据读取：将Excel文件读取为DataFrame，若无列名则命名为value。
- 数据概览：输出前5行数据和统计摘要（均值、标准差、分位数等）。
- 缺失值检测：检查是否存在缺失值。
- 异常值处理：
- 通过箱线图可视化异常值。
- 使用IQR方法识别异常值，并将超出范围的值替换为上下界值。
- 标准化：对清洗后的数据进行Z-score标准化，使数据均值为0，标准差为1。
- 保存结果：将处理后的数据保存为CSV文件。
- 可视化：展示处理后的数据分布和标准化结果。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 1. 读取数据
file_path = 'B.xlsx'
df = pd.read_excel(file_path, sheet_name='Sheet1', header=None, names=['value'])
# 2. 数据概览
print("数据前5行：")
print(df.head())
print("\n数据描述统计：")
print(df.describe())
# 3. 检查缺失值
missing_values = df.isnull().sum()
print(f"\n缺失值数量：{missing_values[0]}")
# 4. 异常值检测（箱线图 + IQR方法）
plt.figure(figsize=(10, 4))
sns.boxplot(x=df['value'])
plt.title('异常值检测箱线图')
plt.show()
Q1 = df['value'].quantile(0.25)
Q3 = df['value'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = df[(df['value'] < lower_bound) | (df['value'] > upper_bound)]
print(f"\n异常值数量：{len(outliers)}")
# 5. 处理异常值（替换为上下界值）
df_clean = df.copy()
df_clean['value'] = np.where(df_clean['value'] < lower_bound, lower_bound,
np.where(df_clean['value'] > upper_bound, upper_bound, df_clean['value']))
# 6. 数据标准化（Z-score标准化）
df_clean['value_zscore'] = (df_clean['value'] - df_clean['value'].mean()) / df_clean['value'].std()
# 7. 保存处理后数据
df_clean.to_csv('processed_B.csv', index=False)
# 8. 可视化处理后数据分布
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
sns.histplot(df_clean['value'], kde=True)
plt.title('处理后的数据分布')
plt.subplot(1, 2, 2)
sns.histplot(df_clean['value_zscore'], kde=True)
plt.title('标准化后数据分布')
plt.tight_layout()
plt.show()
可视化选择建议
- 探索性分析：优先使用分布对比图、KDE、CDF。
- 统计检验：使用Q-Q图验证分布假设。
- 时间序列：滚动均值图 + 自相关图。
- 异常值分析：箱线图、小提琴图。
3 问题分析
问题一的分析与建模：
假设问题一需要解决多源矿山数据的空间对齐或坐标转换，例如将不同传感器采集的二维/三维点云数据（如附件1和附件2）通过仿射变换（Affine Transformation）统一到同一坐标系下，并验证转换精度。
建模过程：
推荐算法
- SVD-based仿射变换：适用于理想点对匹配，计算效率高
- RANSAC + SVD：对异常值鲁棒，适合实际工程场景
- ICP（迭代最近点）：当点对未明确对应时，迭代优化对齐
import numpy as np
from sklearn.linear_model import RANSACRegressor
from scipy.linalg import svd
def svd_affine_transform(source, target):
"""SVD-based仿射变换参数估计"""
# 去中心化
centroid_source = np.mean(source, axis=0)
centroid_target = np.mean(target, axis=0)
source_centered = source - centroid_source
target_centered = target - centroid_target
# 计算协方差矩阵
H = source_centered.T @ target_centered
# SVD分解
U, S, Vt = svd(H)
R = Vt.T @ U.T
# 反射矩阵处理
if np.linalg.det(R) < 0:
Vt[-1, :] *= -1
R = Vt.T @ U.T
# 计算缩放因子
scale = np.trace(target_centered.T @ R @ source_centered) / np.trace(source_centered.T @ source_centered)
# 计算平移向量
t = centroid_target - scale * R @ centroid_source
return R, scale, t
def ransac_affine(source, target, n_samples=3, max_trials=1000):
"""RANSAC鲁棒仿射变换"""
model = RANSACRegressor(min_samples=n_samples, residual_threshold=0.1, max_trials=max_trials)
model.fit(source, target)
inlier_mask = model.inlier_mask_
# 使用内点重新估计参数
R, scale, t = svd_affine_transform(source[inlier_mask], target[inlier_mask])
return R, scale, t, inlier_mask
# 示例数据
source_points = np.random.rand(100, 3) # 模拟源点云
R_true = np.array([[0.96, -0.28, 0], [0.28, 0.96, 0], [0, 0, 1]]) # 真实旋转矩阵
scale_true = 1.5
t_true = np.array([2, -1, 0])
target_points = (R_true @ (scale_true * source_points.T)).T + t_true # 生成目标点云
# 添加噪声和异常值
target_points += np.random.normal(0, 0.05, target_points.shape) # 高斯噪声
target_points[::10] += np.random.uniform(-5, 5, (10, 3)) # 10%异常值
# 参数估计
R_est, scale_est, t_est, inliers = ransac_affine(source_points, target_points)
# 验证误差
transformed_points = (R_est @ (scale_est * source_points.T)).T + t_est
mse = np.mean(np.linalg.norm(target_points - transformed_points, axis=1)**2)
print(f"MSE: {mse:.6f}, 缩放因子: {scale_est:.3f}, 旋转矩阵:\n{R_est}")
问题一的建模核心在于通过几何变换实现多源数据的空间对齐。SVD和RANSAC的组合方法在保证精度的同时提升了鲁棒性，代码示例展示了从理论到实践的完整链路，适用于矿山监测中的传感器数据融合场景。后续代码等持续更新
其中更详细的思路，各题目思路、代码、讲解视频、成品论文及其他相关内容，可以点击下方群名片哦！