降维，流行学习，度量学习

多维缩放（MDS）

思想：MDS算法希望在高维空间中两样本之间的距离要在低维空间中保持。但是如果要距离严格保持的话降维的维数取决于内积矩阵有几个零特征值（知道有严格保持的话有限制即可），通常MDS算法是让降维后的距离与原始距离尽可能接近而不必严格相等，这样可以实现降至任意维数。

算法描述：

涉及的知识：内积矩阵，距离矩阵，样本矩阵，特征值分解

主成分分析（PCA）

思想：PCA的核心思想是最近重构性和最大可分性，实际上最近重构性和最大可分性是等价的。最近重构性：样本点到超平面的距离都足够近。最大可分性：样本点在这个超平面上的投影能尽可能分开。我是基于最近重构性进行理解的，对于一个样本x如果降维后的样本为z，也就是说现在x可以推出z来，如果z也能推出x来，那么z就可以重构出x来，此时x和z就是等价的，那么可以认为x降维到z不会丢失任何信息，但是理论上降维的话就会让特征减少理论上就会丢失信息，那么最近重构性就是为了让它丢失的信息