【机器学习】主成分分析（PCA)的原理及一般步骤

Question

如题所述

Answer 1

主成分分析（PCA），作为属性规约的一种有效手段，旨在通过减少不必要的属性维数，提升数据挖掘效率，降低运算成本。其核心目标是通过提取数据中最具信息价值的部分（以方差为基础），但值得注意的是，降维后的数据标签通常失去原有含义，因此更适用于无监督学习和隐私信息处理场景。

理解PCA之前，需先掌握一些线性代数概念：一、向量的基，如（3，2）向量可以由一组基（1，0）和（0，1）线性表示；二、向量的内积和投影，内积衡量了两个向量的相似性；三、基变换，即数据通过不同基的转换得到新坐标；四、协方差矩阵，反映变量间相关性。在PCA中，关键步骤是寻找一组正交基，使得数据在这些基上的方差最大化且基间的协方差为零。

PCA降维过程可以看作寻找一组最优方向，使得数据在该方向上的方差最大，且后续方向尽可能与之前的方向无关。这涉及到协方差矩阵的对角化，即找到其特征向量和特征值，根据特征值大小排序并投影到前k维，即为降维后的数据。例如，通过代码实现，我们可能观察到在第三维，方差累积贡献率已达到97%，这表明PCA已经有效地捕捉了数据的主要信息。