【每天一个知识点】correntropy（相关熵）

中文翻译：通常翻译为 相关熵 或者叫 卷积熵。

定义：
它是一种非线性相似性度量方法，能够更鲁棒地衡量两个随机变量之间的相似性，特别适合处理带有强噪声或异常值的数据。

公式：

给定两个向量 a和 b，它们的相关熵定义为：

其中：

• E 表示取期望。

• kσ是高斯核（Gaussian kernel）：

  

• σ是核带宽参数（控制对差异的敏感程度）。

直观理解：

• 传统的距离度量（比如欧式距离、KL散度）对噪声很敏感，而相关熵能在保留数据结构的同时，减少异常点带来的影响。

• 简单说，就是“用一种非线性的方法测量相似性”，而且在单细胞测序数据这种高噪声环境下特别有效。

在scCO₂【论文阅读】Co-clustering of single-cell RNA-seq data based on weighted non-negative matrix tri-factoriza-CSDN博客中的应用：

• 在三因子分解（NMTF）过程中，scCO₂用相关熵代替了常规的平方误差或者KL散度作为优化目标，使得模型更稳定、更准确地捕捉真实的细胞间、基因间关系。