降维大合集

1. 主成分分析（PCA，Principal Component Analysis）

• 基本原理
  PCA 是一种线性降维方法，其核心思想是：

  • 找到数据中方差最大的方向（称为主成分），并将数据投影到这些方向上。

  • 利用正交变换将原始变量转换为一组彼此不相关（正交）的新变量，这些变量按照数据方差从大到小排列。

• 优点

  • 计算简单且高效：基于线性代数（特征值分解或奇异值分解）的实现简单。

  • 解释性好：每个主成分都对应数据中变异最大的方向，容易理解数据主要结构。

  • 降低噪音：舍弃低方差的成分，可以过滤掉部分噪音，提高信号质量。

• 局限性

  • 线性假设：PCA 只能捕捉数据中的线性关系，对于非线性结构效果有限。

  • 信息丢失：降维过程中可能丢失部分信息，尤其是在选择低维表示时。

  • 标准化要求：当各特征量纲不同或量级差异大时，需要对数据进行标准化处理。

2. t-SNE（t-Distributed Stochastic Neighbor Embedding）

• 基本原理
  t-SNE 是一种非线性降维方法，侧重于保留数据局部结构，具体流程包括：

  • 首先将高维数据中相邻点之间的相似性转化为条件概率分布。

  • 然后在低维空间中重新构造一个概率分布，使得低维点与高维点之间的相似性尽可能一致。

  • 使用 Kullback-Leibler 散度（KL 散度）作为损失函数，通过梯度下降进行优化。

• 优点

  • 局部结构保留优秀：能够较好地展示高维数据中的簇结构或群聚现象。

  • 适合数据可视化：常用于二维或三维数据可视化，能直观展示数据的嵌入结果。

• 局限性

  • 计算复杂度较高：尤其在大规模数据集上运行较慢。

  • 全局结构缺失：在尽力保留局部相似性时，可能会忽略全局数据分布关系。

  • 参数依赖性强：如 perplexity 参数等需要根据数据特点进行调整，否则可能出现过度聚类或过度分散的情况。

3. UMAP（Uniform Manifold Approximation and Projection）

• 基本原理
  UMAP 是一种基于流形学习理论的非线性降维方法，其理论基础源自拓扑学和几何学，具体步骤包括：

  • 构造高维数据的邻近图，捕捉局部邻域结构。

  • 利用优化技术将高维邻接图映射到低维空间，并在保持局部邻近关系的同时尽量保留全局结构信息。

• 优点

  • 速度较快：相较于 t-SNE，UMAP 通常具有更高的计算效率，适用于大规模数据集。

  • 保全全局与局部结构：在降维时兼顾了局部结构与全局关系，使得低维表示更加丰富。

  • 可扩展性好：支持监督方式和半监督方式，可用于分类、聚类等任务前的预处理。

• 局限性

  • 参数选择：其结果对邻域大小（n_neighbors）、最小距离（min_dist）等参数较为敏感，需要一定经验和调整。

  • 解释性较弱：和 t-SNE 一样，UMAP 提供的是一种非线性嵌入，难以从结果直接推导原始特征的重要性。

4. 多维尺度分析（MDS，Multidimensional Scaling）

• 基本原理
  MDS 的目标是将数据的距离关系在低维空间中进行重现，步骤包括：

  • 计算高维数据中各样本间的距离或相似性矩阵。

  • 在低维空间中寻找一个配置，使得低维点间的欧氏距离尽量接近于原始数据中的距离。

  • 优化目标通常是最小化距离失真（stress 或 strain）。

• 优点

  • 灵活性强：适用于各种类型的相似度或距离定义，不仅限于欧氏距离。

  • 全局结构反映：力图重现整个数据集的距离关系，对于全局结构有较好表现。

• 局限性

  • 计算复杂度高：对于大样本数的数据集，计算距离矩阵和求解优化问题可能变得非常耗时。

  • 容易陷入局部最优：优化过程依赖初始配置，可能会出现局部最优解。

  • 降维结果解释性有限：相比 PCA，MDS 降维结果缺乏明确的“主成分”解释，更多是从距离保留角度分析。

总结对比

• PCA：适用于数据存在线性关系并需要保持全局方差信息时；易于理解和实现。

• t-SNE：适合用来发现局部群体结构与簇；效果直观但计算相对较慢且不适合大规模数据。

• UMAP：兼顾局部与全局结构，速度快、可扩展性好，但需要调参；近年来在可视化和预处理方面应用广泛。

• MDS：重视保留数据内在距离信息，适用于基于距离或相似度的分析；计算量大，尤其在大数据集上可能不够高效。