论文主分量分析和线性判别分析在分类问题中的应用

　　【摘要】对于维数较多的研究对象，为了研究的方便，总希望先将维数降低。主分量分析（PCA）和Fisher线性判别分析（FDA）是广泛应用于模式识别各个领域的两种常用方法。本文先利用主分量分析，将原始数据维数降低，然后再利用Fisher线性判别分析将维数再次降低，得到低维的数据，实验结果表明了两种方法结合的有效性。
　　【关键词】主分量分析；Fisher线性判别；距离判别法
　　【Abstract】Astoanobjectofmultidimension，wealwayshopetomakeitsdimensionreducedinordertofacilitatethestudyonit。PrincipalcomponentanalysisandFisherlineardiscriminantanalysisaretwocommonmethodswidelyusedinvariousfieldsofpatternrecognition。Thisarticlereducedthedimensionoforiginaldata，bytheprincipalcomponentanalysisatfirst，andthenuseFisherlineardiscriminantanalysistoreducethedimensiononceagain，obtaininglowerdimensionaldata，finallyexperimentalresultsdemonstratedtheeffectivenessoftwomethods’combination。
　　【Keywords】Principlecompomentanalysis；Fisherlineardiscriminantanalysis；Amethodofdifferentiatingdistances
　　引言
　　在生产p科研和日常生活中我们经常会遇到判别分类问题，在这些问题中，已经知道研究对象可以分为几个类，而且对这些类别也已经作了一些观测，取得了一批样本数据。我们需要对这些数据进行处理，找到不同类别之间的显著性区别和判别方法。
　　1主分量分析和线性判别分析的原理
　　主分量分析的基本原理：把原来多个变量划为少数几个综合指标的一种统计分析方法，是一降维处理技术。主分量分析的基本思想：主分量分析是设法将原来众多具有一定相关性的指标（比如p个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标〔3〕。
　　Fisher线性判别分析的基本原理：将高维空间中的类映射到低维空间，并且要求在低维空间类与类之间较好区分，是一降维处理技术。Fisher线性判别分析的基本思想：对于多个类来讲，我们希望类内离散度越小越好，类间离散度越大越好。对于原始的类，我们想通过将其投影到低维空间，并且要求经过投影后达到类内离散度最小，类间离散度最大。在投影的过程中，如果投影到一维空间效果不是很好，我们可以将其维数增多〔4〕。
　　2实例
　　现对三类品种的鸢尾属（Iris）植物进行研究，希望通过研究鸢尾属植物的几个主要指标，可以将一个未知样本进行归类。对鸢尾属植物的四个指标进行了统计。对统计数据作如下变换：
　　对所有样本数据X进行中心化标准化。
　　对处理后的数据求解相关系数矩阵R得
　　求解R的特征值i和特征向量ei。
　　由上表可以看出，前三个特征值的累积贡献率已达到99。485，所以我们选取前三个特征值所对应的特征向量为主成分，这样我们就将四维空间降到三维空间。原始数据经过主分量分析，位数降低，得到变换YXE。
　　经过主分量分析，原始数据已经降到三维，我们将对得到的三维空间里的数据再次进行降维处理。我们选取各类中的前40个样本代表该类进行研究。
　　分别计算出各类的样本均值mk和所有样本的均值m
　　计算类内离散度矩阵Sw和类间离散度矩阵Sb
　　计算Sb和Sw的广义特征值和特征向量
　　对Y进行Fisher线性判别，得到变换ZYW。
　　计算经过变换后所得到的类的。均值
　　通过主分量分析和Fisher线性判别，我们将样本由四维空间降到一维空间。由上面的计算，我们可以得到公式ZXEW。
　　随机选取45个样本得到样本组x，在选取样本时，前15个样本是从第一类中抽取的，中间15个样本是从第二类中抽取的，最后15个样本是从第三类中抽取的。我们首先对需要判别的样本进行变换，然后分别计算这45个样本到三类均值的距离
　　表2中加粗的数字表示该样本距离某类均值距离最小，也就是样本属于这个类。判别结果为前15个样本判为第一类，中间16个样本判为第二类，最后14个样本判为第三类。其中第31个样本通过距离判别判为第二类，而这个样本是从第三类中抽取的；其他样本判别均正确。在这次判别中，错误率为145，我们认为判别是比较合理的。对所有的样本都进行分类判别，其错误率为4150，我们认为对数据的处理以及距离判别的方法是比较合理的。
　　3小结
　　我们在研究鸢尾属植物的三个品种时，首先运用主分量分析，在这个过程中维数降低了一维，但我们保留了99。485的原有信息，可以说这一数据变换很有意义。在主分量分析之后，我们再运用Fisher线性判别分析，将数据进行投影，投影到一维空间。然后我们选取了45个样本进行分类判别时，判别结果比较理想，从而验证了两次降维处理的有效性和距离判别的可行性。