如夏塔罗师‍师的微‍信‍号‍是多少啊
点击联系发帖人
时间：2018-04-06 13:54
这老师不是一般的厉害辣妹和老师的疯狂赌注看到这个问题，马上想到我那天回答的另一个问题了。我们在刻画这个世界之间的各种关系的时候，常常会希望度量“距离”：&br&&ol&&li&对于空间中的两个点，我们可以用勾股定理定义平方和作为距离；&br&&/li&&li&对于两个二进制序列，或者两段基因序列，我们可以用&a href=&//link.zhihu.com/?target=http%3A//zh.wikipedia.org/zh/%25E6%25B1%%E8%25B7%259D%25E7%25A6%25BB& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&汉明距离&/a&来度量二者之间的差异，作为“距离”；&br&&/li&&li&那么假如对于两个复杂的量（描述这两个量可能用很多很多的参数），那么这时候怎样度量二者之间的“相关性”呢？&br&&/li&&/ol&按照真正的逻辑顺序来讲，应该是这样讲的： &br&&br&把所有的这些复杂的参数排成一列，就拍成了一个向量，很多很多的这样的向量构成了一个向量空间。向量空间里面的东西没有“距离”这样的概念，对于一个向量空间里面的向量，甚至没有“长度”这样的概念，因为向量空间只是一个代数结构，没有度量或者拓扑的概念在其中，那这时候怎样度量向量的长度来呢？接下来，又怎样来确定两个向量之间的“距离”呢？&br&&br&对于一个可以定义距离的结构（&a href=&//link.zhihu.com/?target=http%3A//zh.wikipedia.org/wiki/%25E5%25BA%25A6%25E9%E7%25A9%25BA%25E9%& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&度量空间&/a&），我们需要有一些要求，认为满足这些要求的一个函数就可以认为是距离，例如我们要求：A到B的距离等于B到A的距离，A到A的距离等于0，两个点之间的距离非负，三角不等式。那么对于一个向量空间，怎样可以最自然地给它一个“范数”，使得它有可能推广到一个距离空间（度量空间）呢？最自然的方法就是引入“内积”的概念了，通过内积的运算，得到&a href=&//link.zhihu.com/?target=http%3A//zh.wikipedia.org/wiki/%25E5%E7%25A7%25AF%25E7%25A9%25BA%25E9%& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&内积空间&/a&，再用内积来定义距离（范数），于是也就有可能得到距离空间。 &br&&br&为什么内积空间可以变成一个度量空间呢？这就是我在“&a href=&http://www.zhihu.com/question/& class=&internal&&学一门课的时候，要注意理解和思考，不要一味的背公式，背习题是什么意思？&/a&”这个问题里面，我反复用到了 Cauchy 不等式，目的也正在此。Cauchy 不等式为我们提供了判断两个向量是否相关的方案：(&b&a&/b&?&b&b&/b&)/|&b&a&/b&||&b&b&/b&| 可以作为度量相关性的一个函数，而它的直观意义是什么，请看下面。&br&&br&—————————————这是一条分割线——————————————&br&&br&好了，截止到目前，都是我认为一个比较正常，且不算太难的一种解释的方法，如果觉得这样理解起来还有困难，那么接下来就只能用能让中学生听懂的，最直观的方法了，但是我并不喜欢这样直观的讲法，因为这个讲法的逻辑是很混乱的，事先就引入了很多不应该过早引入的概念，不过为了帮助理解，也就这样吧：&br&&br&&ul&&li&有两个向量，我们希望定义它们是不是相关。一个很自然的想法，用向量与向量的夹角来作为距离的定义，夹角小，就距离小，夹角大，就距离大。&br&&/li&&li&但是怎样来计算夹角呢？为了让这种计算可行，我们要选一种恰当的三角函数来算。&br&&/li&&li&正弦函数的不太好的一个原因是因为加上个90°，正弦算出来得到的结果一样，而两个向量的夹角是30°还是120°这是完全的两码事，此外，正弦函数也不适合推广到高维度向量的计算中的“两两比较”。&br&&/li&&li&那么考虑用余弦吧，这个可以很方便地区分30°和120°，而且还有一个好处——余弦的计算非常简单，用内积就可以计算了，中学数学中就学过： (x1,y1)?(x2,y2)=x1x2+y1y2，这就是内积，你要是喜欢，也可以把这个叫做“协方差”。&br&&/li&&li&但是这个内积的定义很奇怪哎？要是两个向量本身就长，那这个也算不出夹角来，所以再要除以两个向量本身的长度，即，夹角：cos &&b&a&/b&, &b&b&/b&& =(&b&a&/b&?&b&b&/b&)/|&b&a&/b&||&b&b&/b&|;&/li&&li&这样，那么两个量是不是相关，怎么来判断？就用余弦的大小就可以了，我们把两个向量的夹角的余弦，就叫做“相关系数”，正如上面的式子所指出的，写开了就是：&figure&&img src=&https://pic1.zhimg.com/50/e50b64d72a1f2e31e0bc35ede0664414_b.jpg& data-rawwidth=&326& data-rawheight=&59& class=&content_image& width=&326&&&/figure&&br&分子上面的就是一个内积的计算，也就是前面我说的“协方差”，分子下面是两个勾股定理乘起来，是两个向量的长度。如果两个向量平行，则它们夹角的余弦（也就是“相关系数”）就等于1或者-1，同向的时候是1，反向的时候就是-1。如果两个向量垂直，则夹角的余弦就等于0，说明二者不相关。&/li&&li&再写我都不好意思了，我觉得这样应该很容易就可以懂了……&/li&&/ul&
看到这个问题，马上想到我那天回答的另一个问题了。我们在刻画这个世界之间的各种关系的时候，常常会希望度量“距离”： 对于空间中的两个点，我们可以用勾股定理定义平方和作为距离； 对于两个二进制序列，或者两段基因序列，我们可以用来度量二者…
&figure&&img src=&https://pic3.zhimg.com/b_b.jpg& data-rawwidth=&489& data-rawheight=&388& class=&origin_image zh-lightbox-thumb& width=&489& data-original=&https://pic3.zhimg.com/b_r.jpg&&&/figure&&p&PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。&/p&&p&当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。&/p&&h2&1. 数据的向量表示及降维问题&/h2&&p&一般情况下，在数据挖掘和&a href=&http://link.zhihu.com/?target=http%3A//lib.csdn.net/base/2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&机器学习&/a&中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下：&/p&&p&(日期, 浏览量, 访客数, 下单数, 成交数, 成交金额)&/p&&p&其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子：&/p&&img src=&http://www.zhihu.com/equation?tex=%%2C25%2C13%2C%5E%5Cmathsf%7BT%7D& alt=&(500,240,25,13,2312.15)^\mathsf{T}& eeimg=&1&&&br&&p&注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则。不过为了方便有时我会省略转置符号，但我们说到向量默认都是指列向量。&/p&&p&我们当然可以对这一组五维向量进行分析和挖掘，不过我们知道，很多机器学习算法的复杂度和数据的维数有着密切关系，甚至与维数呈指数级关联。当然，这里区区五维的数据，也许还无所谓，但是实际机器学习中处理成千上万甚至几十万维的情况也并不罕见，在这种情况下，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维。&/p&&p&降维当然意味着信息的丢失，不过鉴于实际数据本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。&/p&&p&举个例子，假如某学籍数据有两列M和F，其中M列的取值是如何此学生为男性取值1，为女性取值0；而F列是学生为女性取值1，男性取值0。此时如果我们统计全部学籍数据，会发现对于任何一条记录来说，当M为1时F必定为0，反之当M为0时F必定为1。在这种情况下，我们将M或F去掉实际上没有任何信息的损失，因为只要保留一列就可以完全还原另一列。&/p&&p&当然上面是一个极端的情况，在现实中也许不会出现，不过类似的情况还是很常见的。例如上面淘宝店铺的数据，从经验我们可以知道，“浏览量”和“访客数”往往具有较强的相关关系，而“下单数”和“成交数”也具有较强的相关关系。这里我们非正式的使用“相关关系”这个词，可以直观理解为“当某一天这个店铺的浏览量较高（或较低）时，我们应该很大程度上认为这天的访客数也较高（或较低）”。后面的章节中我们会给出相关性的严格数学定义。&/p&&p&这种情况表明，如果我们删除浏览量或访客数其中一个指标，我们应该期待并不会丢失太多信息。因此我们可以删除一个，以降低机器学习算法的复杂度。&/p&&p&上面给出的是降维的朴素思想描述，可以有助于直观理解降维的动机和可行性，但并不具有操作指导意义。例如，我们到底删除哪一列损失的信息才最小？亦或根本不是单纯删除几列，而是通过某些变换将原始数据变为更少的列但又使得丢失的信息最小？到底如何度量丢失信息的多少？如何根据原始数据决定具体的降维操作步骤？&/p&&p&要回答上面的问题，就要对降维问题进行数学化和形式化的讨论。而PCA是一种具有严格数学基础并且已被广泛采用的降维方法。下面我不会直接描述PCA，而是通过逐步分析问题，让我们一起重新“发明”一遍PCA。&/p&&h2&2. 向量的表示及基变换&/h2&&p&既然我们面对的数据被抽象为一组向量，那么下面有必要研究一些向量的数学性质。而这些数学性质将成为后续导出PCA的理论基础。&/p&&h2&3. 内积与投影&/h2&&p&下面先来看一个高中就学过的向量运算：内积。两个维数相同的向量的内积被定义为：&/p&&img src=&http://www.zhihu.com/equation?tex=%28a_1%2Ca_2%2C%5Ccdots%2Ca_n%29%5E%5Cmathsf%7BT%7D%5Ccdot+%28b_1%2Cb_2%2C%5Ccdots%2Cb_n%29%5E%5Cmathsf%7BT%7D%3Da_1b_1%2Ba_2b_2%2B%5Ccdots%2Ba_nb_n& alt=&(a_1,a_2,\cdots,a_n)^\mathsf{T}\cdot (b_1,b_2,\cdots,b_n)^\mathsf{T}=a_1b_1+a_2b_2+\cdots+a_nb_n& eeimg=&1&&&br&&p&内积运算将两个向量映射为一个实数。其计算方式非常容易理解，但是其意义并不明显。下面我们分析内积的几何意义。假设&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&是两个&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维向量，我们知道&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维向量可以等价表示为&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维空间中的一条从原点发射的有向线段，为了简单起见我们假设&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&均为二维向量，则&img src=&http://www.zhihu.com/equation?tex=A%3D%28x_1%2Cy_1%29& alt=&A=(x_1,y_1)& eeimg=&1&&，&img src=&http://www.zhihu.com/equation?tex=B%3D%28x_2%2Cy_2%29& alt=&B=(x_2,y_2)& eeimg=&1&&。则在二维平面上&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&可以用两条发自原点的有向线段表示，见下图：&/p&&figure&&img src=&https://pic1.zhimg.com/8d64151ceed0eed4de6374dc_b.png& data-rawwidth=&598& data-rawheight=&593& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic1.zhimg.com/8d64151ceed0eed4de6374dc_r.jpg&&&/figure&&p&好，现在我们从&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&点向&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&所在直线引一条垂线。我们知道垂线与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的交点叫做&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&在&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&上的投影，再设&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的夹角是&img src=&http://www.zhihu.com/equation?tex=%5Calpha+& alt=&\alpha & eeimg=&1&&，则投影的矢量长度为&img src=&http://www.zhihu.com/equation?tex=%7CA%7Ccos%28%5Calpha+%29& alt=&|A|cos(\alpha )& eeimg=&1&&，其中&img src=&http://www.zhihu.com/equation?tex=%7CA%7C%3D%5Csqrt%7Bx_1%5E2%2By_1%5E2%7D& alt=&|A|=\sqrt{x_1^2+y_1^2}& eeimg=&1&&是向量&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&的模，也就是&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&线段的标量长度。&/p&&p&注意这里我们专门区分了矢量长度和标量长度，标量长度总是大于等于0，值就是线段的长度；而矢量长度可能为负，其绝对值是线段长度，而符号取决于其方向与标准方向相同或相反。&/p&&p&到这里还是看不出内积和这东西有什么关系，不过如果我们将内积表示为另一种我们熟悉的形式：&/p&&img src=&http://www.zhihu.com/equation?tex=A%5Ccdot+B%3D%7CA%7C%7CB%7Ccos%28%5Calpha+%29& alt=&A\cdot B=|A||B|cos(\alpha )& eeimg=&1&&&br&&p&现在事情似乎是有点眉目了：&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的内积等于&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&到&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的投影长度乘以&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的模。再进一步，如果我们假设&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的模为1，即让&img src=&http://www.zhihu.com/equation?tex=%7CB%7C%3D1& alt=&|B|=1& eeimg=&1&&，那么就变成了：&/p&&img src=&http://www.zhihu.com/equation?tex=A%5Ccdot+B%3D%7CA%7Ccos%28%5Calpha+%29& alt=&A\cdot B=|A|cos(\alpha )& eeimg=&1&&&br&&p&也就是说，设向量&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的模为1，则&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的内积值等于&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&向&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&所在直线投影的矢量长度！这就是内积的一种几何解释，也是我们得到的第一个重要结论。在后面的推导中，将反复使用这个结论。&/p&&h2&4. 基&/h2&&p&下面我们继续在二维空间内讨论向量。上文说过，一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如下面这个向量：&/p&&p&&figure&&img src=&https://pic1.zhimg.com/df6a713c1b97cc55bd20afce46ace718_b.png& data-rawwidth=&599& data-rawheight=&596& class=&origin_image zh-lightbox-thumb& width=&599& data-original=&https://pic1.zhimg.com/df6a713c1b97cc55bd20afce46ace718_r.jpg&&&/figure&在代数表示方面，我们经常用线段终点的点坐标表示向量，例如上面的向量可以表示为&img src=&http://www.zhihu.com/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&，这是我们再熟悉不过的向量表示。&/p&&p&不过我们常常忽略，只有一个&img src=&http://www.zhihu.com/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&本身是不能够精确表示一个向量的。我们仔细看一下，这里的3实际表示的是向量在x轴上的投影值是3，在y轴上的投影值是2。也就是说我们其实隐式引入了一个定义：以x轴和y轴上正方向长度为1的向量为标准。那么一个向量&img src=&http://www.zhihu.com/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&实际是说在x轴投影为3而y轴的投影为2。注意投影是一个矢量，所以可以为负。&/p&&p&更正式的说，向量(x,y)实际上表示线性组合：&/p&&img src=&http://www.zhihu.com/equation?tex=x%281%2C0%29%5E%5Cmathsf%7BT%7D%2By%280%2C1%29%5E%5Cmathsf%7BT%7D& alt=&x(1,0)^\mathsf{T}+y(0,1)^\mathsf{T}& eeimg=&1&&&br&&p&不难证明所有二维向量都可以表示为这样的线性组合。此处&img src=&http://www.zhihu.com/equation?tex=%281%2C0%29& alt=&(1,0)& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=%280%2C1%29& alt=&(0,1)& eeimg=&1&&叫做二维空间中的一组基。&/p&&figure&&img src=&https://pic1.zhimg.com/b4b5ea98c90f2abed81d470_b.png& data-rawwidth=&598& data-rawheight=&594& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic1.zhimg.com/b4b5ea98c90f2abed81d470_r.jpg&&&/figure&&p&&b&所以，要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了。&/b&只不过我们经常省略第一步，而默认以(1,0)和(0,1)为基。&/p&&p&我们之所以默认选择(1,0)和(0,1)为基，当然是比较方便，因为它们分别是x和y轴正方向上的单位向量，因此就使得二维平面上点坐标和向量一一对应，非常方便。但实际上任何两个线性无关的二维向量都可以成为一组基，所谓线性无关在二维平面内可以直观认为是两个不在一条直线上的向量。&/p&&p&例如，(1,1)和(-1,1)也可以成为一组基。一般来说，我们希望基的模是1，因为从内积的意义可以看到，如果基的模是1，那么就可以方便的用向量点乘基而直接获得其在新基上的坐标了！实际上，对应任何一个向量我们总可以找到其同方向上模为1的向量，只要让两个分量分别除以模就好了。例如，上面的基可以变为&img src=&http://www.zhihu.com/equation?tex=%28%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%2C%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=%28-%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%2C%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})& eeimg=&1&&。&/p&&p&现在，我们想获得(3,2)在新基上的坐标，即在两个方向上的投影矢量值，那么根据内积的几何意义，我们只要分别计算(3,2)和两个基的内积，不难得到新的坐标为&img src=&http://www.zhihu.com/equation?tex=%28%5Cfrac%7B5%7D%7B%5Csqrt%7B2%7D%7D%2C-%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(\frac{5}{\sqrt{2}},-\frac{1}{\sqrt{2}})& eeimg=&1&&。下图给出了新的基以及(3,2)在新基上坐标值的示意图：&/p&&figure&&img src=&https://pic2.zhimg.com/ff47d66fa67d78fa6b78d_b.png& data-rawwidth=&598& data-rawheight=&595& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic2.zhimg.com/ff47d66fa67d78fa6b78d_r.jpg&&&/figure&&p&另外这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。&/p&&h2&5. 基变换的矩阵表示&/h2&&p&下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。实际上，我们可以用矩阵相乘的形式简洁的表示这个变换：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+3+%5C%5C+2+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+5%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix} \begin{pmatrix} 3 \\ 2 \end{pmatrix} = \begin{pmatrix} 5/\sqrt{2} \\ -1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&太漂亮了！其中矩阵的两行分别为两个基，乘以原向量，其结果刚好为新基的坐标。可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+1+%26+2+%26+3+%5C%5C+1+%26+2+%26+3+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+2%2F%5Csqrt%7B2%7D+%26+4%2F%5Csqrt%7B2%7D+%26+6%2F%5Csqrt%7B2%7D+%5C%5C+0+%26+0+%26+0+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix} \begin{pmatrix} 1 & 2 & 3 \\ 1 & 2 & 3 \end{pmatrix} = \begin{pmatrix} 2/\sqrt{2} & 4/\sqrt{2} & 6/\sqrt{2} \\ 0 & 0 & 0 \end{pmatrix}& eeimg=&1&&&br&&p&于是一组向量的基变换被干净的表示为矩阵的相乘。&/p&&p&一般的，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是变换结果，其中AB的第m列为A中第m列变换后的结果。&/p&&p&数学表示为：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+p_1+%5C%5C+p_2+%5C%5C+%5Cvdots+%5C%5C+p_R+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+a_1+%26+a_2+%26+%5Ccdots+%26+a_M+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+p_1a_1+%26+p_1a_2+%26+%5Ccdots+%26+p_1a_M+%5C%5C+p_2a_1+%26+p_2a_2+%26+%5Ccdots+%26+p_2a_M+%5C%5C+%5Cvdots+%26+%5Cvdots+%26+%5Cddots+%26+%5Cvdots+%5C%5C+p_Ra_1+%26+p_Ra_2+%26+%5Ccdots+%26+p_Ra_M+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} p_1 \\ p_2 \\ \vdots \\ p_R \end{pmatrix} \begin{pmatrix} a_1 & a_2 & \cdots & a_M \end{pmatrix} = \begin{pmatrix} p_1a_1 & p_1a_2 & \cdots & p_1a_M \\ p_2a_1 & p_2a_2 & \cdots & p_2a_M \\ \vdots & \vdots & \ddots & \vdots \\ p_Ra_1 & p_Ra_2 & \cdots & p_Ra_M \end{pmatrix}& eeimg=&1&&&br&&p&其中&img src=&http://www.zhihu.com/equation?tex=p_i& alt=&p_i& eeimg=&1&&是一个行向量，表示第&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&个基，&img src=&http://www.zhihu.com/equation?tex=a_j& alt=&a_j& eeimg=&1&&是一个列向量，表示第&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&个原始数据记录。&/p&&p&特别要注意的是，这里R可以小于N，而R决定了变换后数据的维数。也就是说，我们可以将一N维数据变换到更低维度的空间中去，变换后的维度取决于基的数量。因此这种矩阵相乘的表示也可以表示降维变换。&/p&&p&最后，上述分析同时给矩阵相乘找到了一种物理解释：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说，一个矩阵可以表示一种线性变换。很多同学在学线性代数时对矩阵相乘的方法感到奇怪，但是如果明白了矩阵相乘的物理意义，其合理性就一目了然了。&/p&&h1&6. 协方差矩阵及优化目标&/h1&&p&上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？&/p&&p&要完全数学化这个问题非常繁杂，这里我们用一种非形式化的直观方法来看这个问题。&/p&&p&为了避免过于抽象的讨论，我们仍以一个具体的例子展开。假设我们的数据由五条记录组成，将它们表示成矩阵形式：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1+%26+1+%26+2+%26+4+%26+2+%5C%5C+1+%26+3+%26+3+%26+4+%264+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1 & 1 & 2 & 4 & 2 \\ 1 & 3 & 3 & 4 &4 \end{pmatrix}& eeimg=&1&&&br&&p&其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0（这样做的道理和好处后面会看到）。&/p&&p&我们看上面的数据，第一个字段均值为2，第二个字段均值为3，所以变换后：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}& eeimg=&1&&&br&&p&我们可以看下五条数据在平面直角坐标系内的样子：&/p&&p&&figure&&img src=&https://pic3.zhimg.com/eb59ef81a_b.png& data-rawwidth=&598& data-rawheight=&592& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic3.zhimg.com/eb59ef81a_r.jpg&&&/figure&现在问题来了：如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，你要如何选择？&/p&&p&通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。&/p&&p&那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。&/p&&p&以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。&/p&&p&下面，我们用数学方法表述这个问题。&/p&&h2&7. 方差&/h2&&p&上文说到，我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：&/p&&img src=&http://www.zhihu.com/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7B%28a_i-%5Cmu%29%5E2%7D& alt=&Var(a)=\frac{1}{m}\sum_{i=1}^m{(a_i-\mu)^2}& eeimg=&1&&&br&&p&由于上面我们已经将每个字段的均值都化为0了，因此方差可以直接用每个元素的平方和除以元素个数表示：&/p&&img src=&http://www.zhihu.com/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D& alt=&Var(a)=\frac{1}{m}\sum_{i=1}^m{a_i^2}& eeimg=&1&&&img src=&http://www.zhihu.com/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D+%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D& alt=&Var(a)=\frac{1} {m}\sum_{i=1}^m{a_i^2}& eeimg=&1&&&br&&p&于是上面的问题被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。&/p&&h2&8. 协方差&/h2&&p&对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。&/p&&p&如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。&/p&&p&数学上可以用两个字段的协方差表示其相关性，由于已经让每个字段均值为0，则：&/p&&img src=&http://www.zhihu.com/equation?tex=Cov%28a%2Cb%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D& alt=&Cov(a,b)=\frac{1}{m}\sum_{i=1}^m{a_ib_i}& eeimg=&1&&&br&&p&可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。&/p&&p&当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。&/p&&p&至此，我们得到了降维问题的优化目标：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。&/p&&h2&9. 协方差矩阵&/h2&&p&上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。&/p&&p&我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感：&/p&&p&假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X：&/p&&img src=&http://www.zhihu.com/equation?tex=X%3D%5Cbegin%7Bpmatrix%7D+a_1+%26+a_2+%26+%5Ccdots+%26+a_m+%5C%5C+b_1+%26+b_2+%26+%5Ccdots+%26+b_m+%5Cend%7Bpmatrix%7D& alt=&X=\begin{pmatrix} a_1 & a_2 & \cdots & a_m \\ b_1 & b_2 & \cdots & b_m \end{pmatrix}& eeimg=&1&&&br&&p&然后我们用X乘以X的转置，并乘上系数1/m：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D%3D%5Cbegin%7Bpmatrix%7D+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D+%26+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D+%5C%5C+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D+%26+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Bb_i%5E2%7D+%5Cend%7Bpmatrix%7D& alt=&\frac{1}{m}XX^\mathsf{T}=\begin{pmatrix} \frac{1}{m}\sum_{i=1}^m{a_i^2} & \frac{1}{m}\sum_{i=1}^m{a_ib_i} \\ \frac{1}{m}\sum_{i=1}^m{a_ib_i} & \frac{1}{m}\sum_{i=1}^m{b_i^2} \end{pmatrix}& eeimg=&1&&&br&&p&奇迹出现了！这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。&/p&&p&根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况：&/p&&p&设我们有&img src=&http://www.zhihu.com/equation?tex=m& alt=&m& eeimg=&1&&个&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维数据记录，将其按列排成&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&乘&img src=&http://www.zhihu.com/equation?tex=m& alt=&m& eeimg=&1&&的矩阵&img src=&http://www.zhihu.com/equation?tex=+X& alt=& X& eeimg=&1&&，设&img src=&http://www.zhihu.com/equation?tex=C%3D%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D& alt=&C=\frac{1}{m}XX^\mathsf{T}& eeimg=&1&&，则&img src=&http://www.zhihu.com/equation?tex=C& alt=&C& eeimg=&1&&是一个对称矩阵，其对角线分别个各个字段的方差，而第&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&行&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&列和&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&行&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&列元素相同，表示&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&两个字段的协方差。&/p&&h2&10. 协方差矩阵对角化&/h2&&p&根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：&/p&&p&设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为X对P做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Barray%7D%7Bl+l+l%7D+D+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7DYY%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7D%28PX%29%28PX%29%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7DPXX%5E%5Cmathsf%7BT%7DP%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+P%28%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D%29P%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+PCP%5E%5Cmathsf%7BT%7D+%5Cend%7Barray%7D& alt=&\begin{array}{l l l} D & = & \frac{1}{m}YY^\mathsf{T} \\ & = & \frac{1}{m}(PX)(PX)^\mathsf{T} \\ & = & \frac{1}{m}PXX^\mathsf{T}P^\mathsf{T} \\ & = & P(\frac{1}{m}XX^\mathsf{T})P^\mathsf{T} \\ & = & PCP^\mathsf{T} \end{array}& eeimg=&1&&&br&&p&现在事情很明白了！我们要找的P不是别的，而是能让原始协方差矩阵对角化的P。换句话说，优化目标变成了寻找一个矩阵P，满足&img src=&http://www.zhihu.com/equation?tex=PCP%5E%5Cmathsf%7BT%7D& alt=&PCP^\mathsf{T}& eeimg=&1&&是一个对角矩阵，并且对角元素按从大到小依次排列，那么P的前K行就是要寻找的基，用P的前K行组成的矩阵乘以X就使得X从N维降到了K维并满足上述优化条件。&/p&&p&至此，我们离“发明”PCA还有仅一步之遥！&/p&&p&现在所有焦点都聚焦在了协方差矩阵对角化问题上，有时，我们真应该感谢数学家的先行，因为矩阵对角化在线性代数领域已经属于被玩烂了的东西，所以这在数学上根本不是问题。&/p&&p&由上文知道，协方差矩阵&img src=&http://www.zhihu.com/equation?tex=C& alt=&C& eeimg=&1&&是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：&/p&&p&1）实对称矩阵不同特征值对应的特征向量必然正交。&/p&&p&2）设特征向量&img src=&http://www.zhihu.com/equation?tex=%5Clambda& alt=&\lambda& eeimg=&1&&重数为r，则必然存在r个线性无关的特征向量对应于&img src=&http://www.zhihu.com/equation?tex=%5Clambda& alt=&\lambda& eeimg=&1&&，因此可以将这r个特征向量单位正交化。&/p&&p&由上面两条可知，一个&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&行&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&列的实对称矩阵一定可以找到n个单位正交特征向量，设这&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&个特征向量为&img src=&http://www.zhihu.com/equation?tex=e_1%2Ce_2%2C%5Ccdots%2Ce_n& alt=&e_1,e_2,\cdots,e_n& eeimg=&1&&，我们将其按列组成矩阵：&/p&&img src=&http://www.zhihu.com/equation?tex=E%3D%5Cbegin%7Bpmatrix%7D+e_1+%26+e_2+%26+%5Ccdots+%26+e_n+%5Cend%7Bpmatrix%7D& alt=&E=\begin{pmatrix} e_1 & e_2 & \cdots & e_n \end{pmatrix}& eeimg=&1&&&br&&p&则对协方差矩阵C有如下结论：&/p&&img src=&http://www.zhihu.com/equation?tex=E%5E+%5Cmathsf%7BT%7DCE%3D%5CLambda%3D%5Cbegin%7Bpmatrix%7D+%5Clambda_1+%26+%26+%26+%5C%5C+%26+%5Clambda_2+%26+%26+%5C%5C+%26+%26+%5Cddots+%26+%5C%5C+%26+%26+%26+%5Clambda_n+%5Cend%7Bpmatrix%7D& alt=&E^ \mathsf{T}CE=\Lambda=\begin{pmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \end{pmatrix}& eeimg=&1&&&br&&p&其中&img src=&http://www.zhihu.com/equation?tex=%5CLambda& alt=&\Lambda& eeimg=&1&&为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。&/p&&p&以上结论不再给出严格的数学证明，对证明感兴趣的朋友可以参考线性代数书籍关于“实对称矩阵对角化”的内容。&/p&&p&到这里，我们发现我们已经找到了需要的矩阵P：&/p&&img src=&http://www.zhihu.com/equation?tex=P%3DE%5E%5Cmathsf%7BT%7D& alt=&P=E^\mathsf{T}& eeimg=&1&&&br&&p&P是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是C的一个特征向量。如果设P按照&img src=&http://www.zhihu.com/equation?tex=%5CLambda& alt=&\Lambda& eeimg=&1&&中特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。&/p&&p&至此我们完成了整个PCA的数学原理讨论。在下面的一节，我们将给出PCA的一个实例。&/p&&h1&11. 算法及实例&/h1&&p&为了巩固上面的理论，我们在这一节给出一个具体的PCA实例。&/p&&p&&b&PCA算法&/b&&/p&&p&总结一下PCA的算法步骤：&/p&&p&设有m条n维数据。&/p&&p&1）将原始数据按列组成n行m列矩阵X&/p&&p&2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值&/p&&p&3）求出协方差矩阵&img src=&http://www.zhihu.com/equation?tex=C%3D%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D& alt=&C=\frac{1}{m}XX^\mathsf{T}& eeimg=&1&&&/p&&p&4）求出协方差矩阵的特征值及对应的特征向量&/p&&p&5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P&/p&&p&6）Y=PX即为降维到k维后的数据&/p&&p&&b&实例1&/b&&/p&&p&这里以上文提到的&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}& eeimg=&1&&&br&&p&为例，我们用PCA方法将这组二维数据其降到一维。&/p&&p&因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵：&/p&&img src=&http://www.zhihu.com/equation?tex=C%3D+%5Cfrac+%7B1%7D%7B5%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-2+%5C%5C+-1+%26+0+%5C%5C+0+%26+0+%5C%5C+2+%26+1+%5C%5C+0+%26+1+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+%5Cfrac%7B6%7D%7B5%7D+%26+%5Cfrac%7B4%7D%7B5%7D+%5C%5C+%5Cfrac%7B4%7D%7B5%7D+%26+%5Cfrac%7B6%7D%7B5%7D+%5Cend%7Bpmatrix%7D& alt=&C= \frac {1}{5}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}\begin{pmatrix} -1 & -2 \\ -1 & 0 \\ 0 & 0 \\ 2 & 1 \\ 0 & 1 \end{pmatrix}=\begin{pmatrix} \frac{6}{5} & \frac{4}{5} \\ \frac{4}{5} & \frac{6}{5} \end{pmatrix}& eeimg=&1&&&br&&p&然后求其特征值和特征向量，具体求解方法不再详述，可以参考相关资料。求解后特征值为：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Clambda_1%3D2%2C%5Clambda_2%3D2%2F5& alt=&\lambda_1=2,\lambda_2=2/5& eeimg=&1&&&br&&p&其对应的特征向量分别是：&/p&&img src=&http://www.zhihu.com/equation?tex=c_1%3D%5Cbegin%7Bpmatrix%7D+1+%5C%5C+1+%5Cend%7Bpmatrix%7D%2Cc_2%3D%5Cbegin%7Bpmatrix%7D+-1+%5C%5C+1+%5Cend%7Bpmatrix%7D& alt=&c_1=\begin{pmatrix} 1 \\ 1 \end{pmatrix},c_2=\begin{pmatrix} -1 \\ 1 \end{pmatrix}& eeimg=&1&&&br&&p&其中对应的特征向量分别是一个通解，&img src=&http://www.zhihu.com/equation?tex=c_1& alt=&c_1& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=c_2& alt=&c_2& eeimg=&1&&可取任意实数。那么标准化后的特征向量为：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%2C%5Cbegin%7Bpmatrix%7D+-1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix},\begin{pmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&因此我们的矩阵P是：&/p&&img src=&http://www.zhihu.com/equation?tex=P%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&P=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&可以验证协方差矩阵C的对角化：&/p&&img src=&http://www.zhihu.com/equation?tex=PCP%5E%5Cmathsf%7BT%7D%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+6%2F5+%26+4%2F5+%5C%5C+4%2F5+%26+6%2F5+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+2+%26+0+%5C%5C+0+%26+2%2F5+%5Cend%7Bpmatrix%7D& alt=&PCP^\mathsf{T}=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} 6/5 & 4/5 \\ 4/5 & 6/5 \end{pmatrix}\begin{pmatrix} 1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}=\begin{pmatrix} 2 & 0 \\ 0 & 2/5 \end{pmatrix}& eeimg=&1&&&br&&br&&p&最后我们用P的第一行乘以数据矩阵，就得到了降维后的表示：&/p&&img src=&http://www.zhihu.com/equation?tex=Y%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+-3%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%26+0+%26+3%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&Y=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}=\begin{pmatrix} -3/\sqrt{2} & -1/\sqrt{2} & 0 & 3/\sqrt{2} & -1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&br&&p&降维投影结果如下图：&/p&&p&&b&&figure&&img src=&https://pic4.zhimg.com/bfefee84b03bbff7dde06f_b.png& data-rawwidth=&595& data-rawheight=&593& class=&origin_image zh-lightbox-thumb& width=&595& data-original=&https://pic4.zhimg.com/bfefee84b03bbff7dde06f_r.jpg&&&/figure&实例2&/b&&/p&&div class=&highlight&&&pre&&code class=&language-matlab&&&span&&/span&&span class=&k&&function&/span& &span class=&nf&&linear_PCA&/span&
&span class=&c&&%% PARAMETERS&/span&
&span class=&n&&N&/span& &span class=&p&&=&/span& &span class=&mi&&500&/span&&span class=&p&&;&/span&
&span class=&c&&% number of data points&/span&
&span class=&n&&R&/span& &span class=&p&&=&/span& &span class=&p&&[&/span&&span class=&o&&-&/span&&span class=&p&&.&/span&&span class=&mi&&9&/span& &span class=&p&&.&/span&&span class=&mi&&4&/span&&span class=&p&&;&/span& &span class=&p&&.&/span&&span class=&mi&&1&/span& &span class=&p&&.&/span&&span class=&mi&&2&/span&&span class=&p&&];&/span& &span class=&c&&% covariance matrix&/span&
&span class=&c&&%% PROGRAM&/span&
&span class=&n&&tic&/span&
&span class=&n&&X&/span& &span class=&p&&=&/span& &span class=&nb&&randn&/span&&span class=&p&&(&/span&&span class=&n&&N&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&R&/span&&span class=&p&&;&/span& &span class=&c&&% correlated two-dimensional data&/span&
&span class=&p&&[&/span&&span class=&n&&E&/span&&span class=&p&&,&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&n&&Xp&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&km_pca&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&);&/span&
&span class=&c&&% obtain eigenvector matrix E, eigenvalues v and principal components Xp&/span&
&span class=&n&&toc&/span&
&span class=&c&&%% OUTPUT&/span&
&span class=&n&&Y&/span& &span class=&p&&=&/span& &span class=&n&&X&/span&&span class=&o&&*&/span&&span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&mi&&2&/span&&span class=&p&&);&/span&
&span class=&n&&figure&/span&&span class=&p&&;&/span& &span class=&n&&hold&/span& &span class=&n&&on&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&(:,&/span&&span class=&mi&&1&/span&&span class=&p&&),&/span&&span class=&n&&X&/span&&span class=&p&&(:,&/span&&span class=&mi&&2&/span&&span class=&p&&),&/span&&span class=&s&&'.'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Xp&/span&&span class=&p&&,&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Xp&/span&&span class=&p&&,&/span&&span class=&s&&'.r'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Y&/span&&span class=&p&&,&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Y&/span&&span class=&p&&,&/span&&span class=&s&&'.b'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&([&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)],[&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)],&/span&&span class=&s&&'g'&/span&&span class=&p&&,&/span&&span class=&s&&'LineWidth'&/span&&span class=&p&&,&/span&&span class=&mi&&4&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&([&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)],[&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)],&/span&&span class=&s&&'k'&/span&&span class=&p&&,&/span&&span class=&s&&'LineWidth'&/span&&span class=&p&&,&/span&&span class=&mi&&4&/span&&span class=&p&&)&/span&
&span class=&n&&axis&/span& &span class=&n&&equal&/span&
&span class=&n&&legend&/span&&span class=&p&&(&/span&&span class=&s&&'data'&/span&&span class=&p&&,&/span&&span class=&s&&'first principal components'&/span&&span class=&p&&,&/span&&span class=&s&&'second principal components'&/span&&span class=&p&&,&/span&&span class=&s&&'first principal direction'&/span&&span class=&p&&,&/span&&span class=&s&&'second principal direction'&/span&&span class=&p&&)&/span&
&span class=&n&&title&/span&&span class=&p&&(&/span&&span class=&s&&'linear PCA demo'&/span&&span class=&p&&)&/span&
&span class=&k&&function&/span&&span class=&w&& &/span&[E,v,Xp] &span class=&p&&=&/span&&span class=&w&& &/span&&span class=&nf&&km_pca&/span&&span class=&p&&(&/span&X,m&span class=&p&&)&/span&&span class=&w&&&/span&
&span class=&n&&N&/span& &span class=&p&&=&/span& &span class=&nb&&size&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&);&/span&
&span class=&p&&[&/span&&span class=&n&&E&/span&&span class=&p&&,&/span&&span class=&n&&V&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&eig&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&o&&'*&/span&&span class=&n&&X&/span&&span class=&o&&/&/span&&span class=&n&&N&/span&&span class=&p&&);&/span&
&span class=&n&&v&/span& &span class=&p&&=&/span& &span class=&nb&&diag&/span&&span class=&p&&(&/span&&span class=&n&&V&/span&&span class=&p&&);&/span&
&span class=&p&&[&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&n&&ind&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&sort&/span&&span class=&p&&(&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&s&&'descend'&/span&&span class=&p&&);&/span&
&span class=&n&&E&/span& &span class=&p&&=&/span& &span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&n&&ind&/span&&span class=&p&&);&/span&
&span class=&n&&Xp&/span& &span class=&p&&=&/span& &span class=&n&&X&/span&&span class=&o&&*&/span&&span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&mi&&1&/span&&span class=&p&&:&/span&&span class=&n&&m&/span&&span class=&p&&);&/span&
&/code&&/pre&&/div&&p&结果&/p&&p&&figure&&img src=&https://pic2.zhimg.com/b_b.jpg& data-rawwidth=&489& data-rawheight=&388& class=&origin_image zh-lightbox-thumb& width=&489& data-original=&https://pic2.zhimg.com/b_r.jpg&&&/figure&(说明，为了画图效果，计算协方差矩阵之前没有将数据中心化)&/p&&h1&12. 进一步讨论&/h1&&p&根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。&/p&&p&因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。&/p&&p&最后需要说明的是，PCA是一种无参数技术，也就是说面对同样的数据，如果不考虑清洗，谁来做结果都一样，没有主观参数的介入，所以PCA便于通用实现，但是本身无法个性化的优化。&/p&&p&希望这篇文章能帮助朋友们了解PCA的数学理论基础和实现原理，借此了解PCA的适用场景和限制，从而更好的使用这个算法。&/p&&p&本文转于整理于&a href=&http://link.zhihu.com/?target=http%3A//blog.csdn.net/xiaojidan2011/article/details/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&blog.csdn.net/xiaojidan&/span&&span class=&invisible&&2011/article/details/&/span&&span class=&ellipsis&&&/span&&/a&&/p&
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述…
&ul&&li&域名可以用.tk的免费域名&br&&/li&&li&空间可以用github&br&&/li&&li&模板可以用jekyll&br&&/li&&li&主题上网找：&a href=&//link.zhihu.com/?target=http%3A//jekyllthemes.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Jekyll Themes&/a&&br&&/li&&li&内容需要好好研究&/li&&/ul&
域名可以用.tk的免费域名 空间可以用github 模板可以用jekyll 主题上网找： 内容需要好好研究
&p&在办公室养合适的植物可以帮助净化空气，舒缓你的心情~但办公室阳光条件较差（除了阳面窗边），有一定的灯光光照补充；通风条件相对较弱，适合养喜阴的植物。&b&今天木安给大家介绍6种适合办公室养的小盆栽，想要把它们养死很难哟！还包括具体的养护方法！养花杀手和懒人的福音来啦！同样也适合家庭的背阴面哈~&/b&&/p&&p&&a href=&//link.zhihu.com/?target=http%3A//dwz.cn/6rB6aN& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&dwz.cn/6rB6aN&/span&&span class=&invisible&&&/span&&/a&&/p&&p&&b&1、 绿萝&/b&&/p&&p&推荐指数：★★★★★&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-3ad2fdd40cc572d9df3fd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-3ad2fdd40cc572d9df3fd_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&&b&基本简介：&/b&绿萝叶片碧绿娇秀，观赏性强；生命力也极强；还能吸收空气中的甲醛、苯（复印机、打印机排放苯）等有害气体。&/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜散射光、耐阴，遇水即活，水养、土养均可。&/p&&p&&br&&/p&&p&放在办公桌上，只要不忘记给它浇水，一般都可以长得很好。掐下一小段枝条，放在装有水的容器里，一段时间之后，也会生根继续成长。不让水干就好，不需要怎么打理，最适合懒人养啦！&/p&&p&&br&&/p&&p&工作休息间隙，看看满盆绿绿的绿萝，是不是很令人赏心悦目呀~&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-b6178f28fbf8da5e56d48b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-b6178f28fbf8da5e56d48b_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&一般新买的绿萝到新环境都有1个月左右的适应期，底部黄叶属正常。&/p&&p&2&/p&&p&但是切记：黄叶或死叶不要直接剥掉，要从叶柄中部剪断，这样避免直接从枝条上剥离造成过多水分流失和增加伤口，从而导致上部的叶片还会发黄。&/p&&p&&br&&/p&&p&&b&2、 铜钱草&/b&&/p&&p&推荐指数：★★★★★&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-8b3e9df6f53e2c0c982105_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&364& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/50/v2-8b3e9df6f53e2c0c982105_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&铜钱草似圆伞形，娇俏可爱。根系发达的铜钱草，很快就能蔓延满容器，养眼十足。&/p&&p&&br&&/p&&p&&b&生长习性：&/b&铜钱草喜温暖潮湿，忌阳光直射，较适合在光照不够充足的办公室生长。&/p&&p&&br&&/p&&p&鉴于干净、养眼的原则，办公室的铜钱草一般以水养为主。水养的铜钱草适合粗养，只要水没有腐臭，给它加加水就好。铜钱草繁殖性强，保证光照和水分，就可以长得非常快。&/p&&p&&br&&/p&&p&看着满盆美美哒小铜钱，好养眼呢~&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-d90a774b88fe76eb86e834e_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&443& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-d90a774b88fe76eb86e834e_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&铜钱草也会开花。开花后的铜钱草会减弱生长，叶子变小，可以将冒出花苞的部分花杆剪掉，确保足够的营养保证叶片的生长。&/p&&p&2&/p&&p&在淘宝上可以买到铜钱草种子、种芽或者成品，价格较便宜，可按需购买。&/p&&p&&br&&/p&&p&&b&3、 富贵竹&/b&&/p&&p&推荐指数：★★★★★&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-644d56b2c9e1c6e661fffbb_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&624& data-rawheight=&468& class=&origin_image zh-lightbox-thumb& width=&624& data-original=&https://pic2.zhimg.com/50/v2-644d56b2c9e1c6e661fffbb_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&富贵竹茎叶纤秀、柔美优雅，枝干有类似竹节的枝节；也有一定空气净化能力。 &/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜阴湿高温，耐涝，抗寒力强；不适合暴晒；对光照要求不严，适宜在明亮散射光下生长，所以灯火通明的办公室还是较适合富贵竹生长的。&/p&&p&&br&&/p&&p&办公室的富贵竹多以水养为主。如果是刚买来的没有生根的富贵竹，枝茎底部要斜着（大概45度角）减去一小段，注意切口要平滑，有利于富贵竹更好地吸水；也要剪掉底部的叶子（瓶口以下不要留叶子），防止抑制富贵竹自身的生长。&/p&&p&&br&&/p&&p&在刚开始养时，要勤换水，但生根之后几乎可以不用换水，只需往里加水就好了。&/p&&p&&br&&/p&&p&又是懒人的福音呢，哈哈！&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-7bc3b5d373a93dea581a36_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&486& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-7bc3b5d373a93dea581a36_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&容器里的水达到花瓶三分之一处即可，不要多于三分之二，否则容易造成根茎腐烂。&/p&&p&2&/p&&p&不要将富贵竹摆放在空调、电扇直接能吹到的地万，以免叶尖及叶缘干燥。&/p&&p&&br&&/p&&p&&b&4、 吊兰&/b&&/p&&p&推荐指数：★★★★☆&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-9ea6ec493dc570ca17c3e5_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&423& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-9ea6ec493dc570ca17c3e5_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&吊兰叶片细长柔软，从叶腋（叶与茎的夹角处）抽生出的小枝条，会继续生长出新的小吊兰，枝条下垂时甚是好看。&/p&&p&&br&&/p&&p&&b&生长习性：&/b&吊兰性喜温暖湿润、半阴的环境，也是水养土样均可。较耐旱，不耐寒。&/p&&p&&br&&/p&&p&如果想要达到众多枝条下垂的效果，建议盆土种植并适当施肥（一般去花店买肥料按照说明施肥即可）。记得保持土壤湿润哦~&/p&&p&&br&&/p&&p&另外，吊兰能在微弱的光线（比如办公室里的灯光）下进行光合作用，可吸收室内的有害气体（如甲醛），也能在24小时都释放氧气。&/p&&p&&br&&/p&&p&所以放在办公桌上过滤下空气也是很好哒~&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-18dcb9fc18cffdfd68dea_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&425& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/50/v2-18dcb9fc18cffdfd68dea_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&吊兰生长迅速，过多的新枝条会影响叶片生长，可以适当减去一些；下部枯叶、黄叶也要随时摘去，叶尖发黄时用剪刀斜着剪去黄头。&/p&&p&2&/p&&p&吊兰喜欢湿润环境，夏季气温高、蒸发快，浇水要充足，防干枯。但冬季吊兰基本停止生长，应少浇水，否则容易烂根。&/p&&p&&br&&/p&&p&&b&5、 芦荟&/b&&/p&&p&推荐指数：★★★★☆&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-fbf90ed1a38c6c6c80c005d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&390& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-fbf90ed1a38c6c6c80c005d_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&芦荟是常绿、多肉的草本植物，叶片肥厚，边缘呈锯齿状，也是萌萌哒多肉植物的一种~也能有效吸收室内的有害气体（如甲醛）哦~&/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜光照，耐半阴，不耐涝，不耐寒。&/p&&p&&br&&/p&&p&芦荟繁殖较快，生长较好的话，根茎周边会长出小侧芽，侧芽也会慢慢变多的。拔出已经长出独立根系的小侧芽种植到土里，也较容易成活。&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-5e6d51ec223670dae824dc_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&960& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-5e6d51ec223670dae824dc_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&芦荟耐旱，不浇和少浇水一般影响不大，但如果土中积水，就会导致根烂淹死，所以不能过于频繁地给芦荟浇水。&/p&&p&2&/p&&p&芦荟底部的小芽，长出后不要急于拔掉，待根基稳固后再拨出分栽，增加新芽种植的成活率。&/p&&p&&br&&/p&&p&&b&6、 仙人球&/b&&/p&&p&推荐指数：★★★★☆&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-9b05ccdac4b40810b46caea7_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&480& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-9b05ccdac4b40810b46caea7_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&仙人球呈球形或椭圆柱形，外部长满硬刺，形态奇特，放在办公桌上还是很迷人的。而且它也是吸附灰尘的高手呢！&/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜干，耐旱，较容易栽培。最好使用排水性能较好的沙质土壤种植。&/p&&p&&br&&/p&&p&仙人球要求土壤干燥，不要浇太多水，否则根部会烂掉。所以宁干勿湿：春夏最好一至两个月浇一次，秋冬两至三个月即可。&/p&&p&&br&&/p&&p&想起来的时候，给它浇浇水就好啦~&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-cc76aca92ccec9cb632f5_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&410& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/50/v2-cc76aca92ccec9cb632f5_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&仙人球也是会开花的，以白色为主，也有黄色、粉色的花朵。花形像张开的喇叭，花瓣像多层的小莲花。&/p&&p&2&/p&&p&但仙人球要光照充足才能开花，所以在以灯光照明为主的办公室，仙人球开花概率会减小，有条件的朋友可以把仙人球放到阳光充足的窗边养护。&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-f1a09ae58c6bc07b1dbd75b772aabf5d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&891& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-f1a09ae58c6bc07b1dbd75b772aabf5d_r.jpg&&&/figure&&p&&br&&/p&&p&今天木安给大家分享的是入门级的适合办公室养护的观叶植物（一般指叶形和叶色美丽的植物），不知道能不能满足你的需求呢？&/p&&p&&br&&/p&&p&别着急哦，以后会有进阶级的适合办公室栽培的其它观叶植物和观花植物（以观花为主的植物）介绍给大家，敬请期待~可以关注我的公众号“木安的花房”来看~&/p&&p&也真诚欢迎爱花人加我的微信公众号wuyangjuan2，来和我交流~&/p&&p&&br&&/p&&p&&b&END&/b&&/p&&p&&b&……………………………………我是华丽丽的分割线…………………………………………………&/b&&/p&&p&&b&更新&/b&&/p&&p&我又盘点了20种适合室内养的植物，点击下方链接即可：&/p&&p&&a href=&https://www.zhihu.com/question//answer/& class=&internal&&&span class=&invisible&&https://www.&/span&&span class=&visible&&zhihu.com/question/2918&/span&&span class=&invisible&&1149/answer/&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&希望能给你多一点选择~挑几种你喜欢的植物养，把家装点得更美好吧~&/p&
在办公室养合适的植物可以帮助净化空气，舒缓你的心情~但办公室阳光条件较差（除了阳面窗边），有一定的灯光光照补充；通风条件相对较弱，适合养喜阴的植物。今天木安给大家介绍6种适合办公室养的小盆栽，想要把它们养死很难哟！还包括具体的养护方法！养花…
&p&总算看到一个能认真回答的问题了，从小到大乐于学习各种有用的没用的小技能，常常会被感慨：&/p&&p&&b&这你也会！&/b&&/p&&p&&b&这你咋又会！&/b&&/p&&p&&b&这你特么的竟然也会！&/b&&/p&&p&但是由于是三分钟热度的性格，一般技能也就止步于糊弄外行人阶段。也没想作为才艺展示，更多的是好奇和兴趣。&/p&&br&&p&&b&先说几个如果学精了就能上《最强大脑》，没学精就呵呵哒的技能——&/b&&/p&&br&&p&&b&1.
&br&珠心算&/b&。&/p&&p& 嗯，小时候就能迅速算出四五个五位数以上的加法，多位数乘多位数，唯一的好处就是参加口算竞赛拿了奖，然而——高中数学在及格线上挣扎and现在忘得光光的了，这么光&figure&&img src=&https://pic2.zhimg.com/50/0db0d0a76_b.jpg& data-rawwidth=&228& data-rawheight=&266& class=&content_image& width=&228&&&/figure&&br&&/p&&p&&b&2.
&br&魔方。&/b&&/p&&p&没学精，当时只能做到几分钟拧好，也没学什么盲拧，十二阶魔方，水下拧之类的花式，根本木有机会炫耀！就算是泡妹子，花三分钟哼哼哈嘿拧个魔方，妹子都跑远了。。。远了。。了。&/p&&figure&&img src=&https://pic1.zhimg.com/50/79fbbb51adb5e_b.jpg& data-rawwidth=&440& data-rawheight=&312& class=&origin_image zh-lightbox-thumb& width=&440& data-original=&https://pic1.zhimg.com/50/79fbbb51adb5e_r.jpg&&&/figure&&br&&p&&b&3.&/b&&b&
各种不高大上的手工&/b&&/p&&p& 剪窗花，折纸，落叶拼图，橡皮泥之类的童年时期都痴迷过一阵子，还模仿尼尔叔叔的《艺术创想》做了很多渣手工。唯一留存下来的两本窗花和树叶收集册也在一次搬家时弄丢了，心疼/(ㄒoㄒ)/~~好像有点偏题，成年后这些貌似没有什么好展示了…orz ，除非玩到出神入化的境界，不过这就不符合题主短期学会的条件设定了。&/p&&figure&&img src=&https://pic4.zhimg.com/50/5ce877cdc333f848ae2f91_b.jpg& data-rawwidth=&1116& data-rawheight=&628& class=&origin_image zh-lightbox-thumb& width=&1116& data-original=&https://pic4.zhimg.com/50/5ce877cdc333f848ae2f91_r.jpg&&&/figure&&br&&br&&p&&b&4.
&br&女子擒拿手，防狼十三招&/b&&/p&&p&至今没遇到使用的机会QAQ&/p&&figure&&img src=&https://pic1.zhimg.com/50/ddd646ed255bfc9e5f8e_b.jpg& data-rawwidth=&337& data-rawheight=&341& class=&content_image& width=&337&&&/figure&&br&&br&&p&&b&5.
摩斯密码&/b&&/p&&p&没有神马用处，只有一次密室逃脱时用到过，以后也许可以给心上人写秘密情书。&/p&&figure&&img src=&https://pic3.zhimg.com/50/bdad0feb378d1c_b.jpg& data-rawwidth=&244& data-rawheight=&244& class=&content_image& width=&244&&&/figure&&br&&b&6. 泡妞技能&/b&&br&有段时间流行pua那套，认真去学习了一番，可惜自己是个妞。&br&&br&&p&接着说几个比较有趣的技能~以下技能按学习时间排序&/p&&br&&p&&b&1.
&br&&/b&&b&算命&/b&（是的你没有看错！这是我小学就开始学习的！）&br&&/p&&p&这是直到如今还用得上的实用技能啊！遇见喜欢的汉纸可以看看面相手相啥的，认识后可以再算算生辰八字合不合，不要说我封建迷信喵~老祖宗传下来的东西还是很有用的，但是星座属相三观八字再合也不一定能在一起啊。。。这是个悲伤的故事，此处略过几千次字。&/p&&br&&p&“算命”涵盖的范围其实非常广，我会的只有少数几项，如看手相面相，称骨算命，痣相吉凶，看着书也能帮着合个八字什么的。西方的星座运程和塔罗牌也都认真钻研过几个月，本来还想学学水晶球占卜未来的，但因为小学森没有钱买真正的水晶球而作罢。&/p&&br&&p&初中时候对太上老君符咒感兴趣，画了一堆“神符”，比如镇煞护身符，聚财符，做成钥匙扣送亲友送同学，就是下图这种，用毛笔在黄纸上一点点临摹的，还对自己默念心诚则灵，心诚则灵。&figure&&img src=&https://pic1.zhimg.com/50/ef0f8ae9c685aa32e993_b.jpg& data-rawwidth=&264& data-rawheight=&600& class=&content_image& width=&264&&&/figure&&/p&&p&发烧时还会给自己画&b&除寒热灵符&/b&，暗恋学长时默默画&b&良缘符&/b&，印象深刻的是还有个“&b&大便不通符&/b&”，（有需要的吗？）现在想起当时傻乎乎的萝莉，&/p&&figure&&img src=&https://pic4.zhimg.com/50/efd73ccf01a5_b.jpg& data-rawwidth=&469& data-rawheight=&302& class=&origin_image zh-lightbox-thumb& width=&469& data-original=&https://pic4.zhimg.com/50/efd73ccf01a5_r.jpg&&&/figure&&br&&p&&b&2.
&br&魔术&/b&&/p&&p&初中时喜欢魔术，刚巧去上学的路上开了一家魔术用品店，每天上学途中就去买买买，学会了表演给同学邻居们看，还买过假血，断手指，吹不灭蜡烛，放屁坐垫各种恶搞的魔术道具。&/p&&p&个人最不喜欢扑克型的魔术，大多说到底都是些数学规则，不好玩儿。易于展示的话，学些把餐巾变成玫瑰，硬币变成戒指，卫生纸变成毛爷爷这种比较抓眼球。&/p&&p&入门也炒鸡简单，网上随便找几个视频学学就好了。&/p&&br&&p&&b&3.
&br&做菜＋生活小妙招&/b&&/p&&p&有很多人说自己不会做饭，这让我很讶异，这不是分分种就能学会的咩~从小喜欢看《夕阳红：家有妙招》，&br&《天天饮食》， 《食来运转》， 《生活一点通》这类主妇最爱的节目，就算很少机会下厨，临时做做功课捯饬出一桌年夜饭也并不困难。再退一万步说，手残星人买些白盘子，花几十分钟摆个盘看起来也会棒棒哒~下图是端午那天做给母上吃的早餐（更像给孩子吃的--），美队水果盘＋晚餐，只要看看下厨房里大神们给的菜谱，再加点创意摆个位置，十指不沾阳春水的盆友们也能做出来的。&b&适当学点西瓜皮拉花，胡萝卜雕花这些技能会更好。&/b&&/p&&br&&p&早餐：粽子＋煎蛋＋鸡蛋酒酿＋椰奶小方＋杨梅糖水&/p&&figure&&img src=&https://pic3.zhimg.com/50/fa3dac408ccd28a327aa8c2aada0906e_b.jpg& data-rawwidth=&720& data-rawheight=&828& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic3.zhimg.com/50/fa3dac408ccd28a327aa8c2aada0906e_r.jpg&&&/figure&&br&&br&&br&&figure&&img data-rawwidth=&1072& data-rawheight=&1500& src=&https://pic3.zhimg.com/50/v2-16b2e5daadf9f1d87c8d983_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1072& data-original=&https://pic3.zhimg.com/50/v2-16b2e5daadf9f1d87c8d983_r.jpg&&&/figure&&br&&figure&&img data-rawwidth=&1280& data-rawheight=&1280& src=&https://pic3.zhimg.com/50/v2-530b206bd246b4b94dea8_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic3.zhimg.com/50/v2-530b206bd246b4b94dea8_r.jpg&&&/figure&&br&&figure&&img data-rawwidth=&1072& data-rawheight=&1501& src=&https://pic3.zhimg.com/50/v2-64e2aef354815_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1072& data-original=&https://pic3.zhimg.com/50/v2-64e2aef354815_r.jpg&&&/figure&&br&&p&美队果盘：蓝莓＋车厘子＋桃子＋苹果＋西瓜&/p&&figure&&img src=&https://pic2.zhimg.com/50/8bcbeb13cbc98a384ad92071_b.jpg& data-rawwidth=&720& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic2.zhimg.com/50/8bcbeb13cbc98a384ad92071_r.jpg&&&/figure&&br&&p&杂果盘：略&/p&&figure&&img src=&https://pic4.zhimg.com/50/5ce43eca840acdf585c945ee1c1cb190_b.jpg& data-rawwidth=&640& data-rawheight=&817& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/5ce43eca840acdf585c945ee1c1cb190_r.jpg&&&/figure&&br&&p&晚餐：牛排＋意面，木瓜椰奶冻，奶油鸡肉玉米浓汤，芒果布丁&/p&&figure&&img src=&https://pic1.zhimg.com/50/152fb01ae6c1e96aaad49d2f_b.jpg& data-rawwidth=&914& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&914& data-original=&https://pic1.zhimg.com/50/152fb01ae6c1e96aaad49d2f_r.jpg&&&/figure&&br&一&br&做个饭比较费时…下图二的几块翻糖饼干做了将近一天啊呜&br&&br&&figure&&img data-rawwidth=&2446& data-rawheight=&3264& src=&https://pic1.zhimg.com/50/87ed3f9a443f93f35bcd04b2b143f8f2_b.jpg& class=&origin_image zh-lightbox-thumb& width=&2446& data-original=&https://pic1.zhimg.com/50/87ed3f9a443f93f35bcd04b2b143f8f2_r.jpg&&&/figure&&figure&&img data-rawwidth=&2123& data-rawheight=&2830& src=&https://pic2.zhimg.com/50/6fe5d3a4901cebd5c996a9f497e9b95c_b.jpg& class=&origin_image zh-lightbox-thumb& width=&2123& data-original=&https://pic2.zhimg.com/50/6fe5d3a4901cebd5c996a9f497e9b95c_r.jpg&&&/figure&&br&学厨艺戳这里 最爱的网站之一&br&下厨房&br&&a href=&//link.zhihu.com/?target=http%3A//www.xiachufang.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&下厨房&/a&&br&&br&&p&啊呜。。。写得有点累，接着简单点&/p&&br&&p&&b&4.
&br&马杀鸡&/b&&/p&&p&去美容院做了肩背按摩，胸部按摩后就在网上搜相关视频自学，学好后应该是一个孝敬父母的小技能外加泡汉利器吧。。。&/p&&br&&p&&b&5.
&br&&/b&&b&Photoshop&/b&&/p&&p&给妹子修图什么的很能刷好感啊，去学去学gogogo&/p&&br&&p&&b&6.
&br&尤克里里&/b&&/p&&p&这个看到很多人都回答了，简单易学，不过我开始学是因为《老爸老妈浪漫史》，还买了老妈同款的尤克里里，期待能学好后弹唱着《la vie en rose》邂逅隔壁的the one。&/p&&figure&&img src=&https://pic4.zhimg.com/50/deddfe1a71f6cf_b.jpg& data-rawwidth=&600& data-rawheight=&337& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/deddfe1a71f6cf_r.jpg&&&/figure&&br&&p&&b&7.&/b&&/p&&p&&b&画画儿&/b&&/p&&p&超级羡慕会画画的大触们呀，但是依旧只学了一丁点皮毛，不过画画礼物包装盒，画几幅简单的油画讨几个赞还是可以的。&/p&&figure&&img data-rawwidth=&750& data-rawheight=&750& src=&https://pic1.zhimg.com/50/dd24b32bf218e3d36ef6_b.jpg& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&https://pic1.zhimg.com/50/dd24b32bf218e3d36ef6_r.jpg&&&/figure&&figure&&img data-rawwidth=&605& data-rawheight=&927& src=&https://pic4.zhimg.com/50/35ed9bd9df66d_b.jpg& class=&origin_image zh-lightbox-thumb& width=&605& data-original=&https://pic4.zhimg.com/50/35ed9bd9df66d_r.jpg&&&/figure&&figure&&img data-rawwidth=&2361& data-rawheight=&3148& src=&https://pic2.zhimg.com/50/01df80cafd70cbf2f04d64e8_b.jpg& class=&origin_image zh-lightbox-thumb& width=&2361& data-original=&https://pic2.zhimg.com/50/01df80cafd70cbf2f04d64e8_r.jpg&&&/figure&&br&&p&&b&8.&/b&&/p&&p&&b&摄影&/b&&/p&&p&这个技能其实异常实用，不但容易展示而且特别刷存在感和好感，配合熟练的P图技术使用更佳，谁不喜欢能把自己拍得美美的朋友呢～&/p&&p&提问：在大街上看见美女怎么偷拍不会被打?&/p&&p&答：不偷拍就不会被打，挂一个看似专业的相机，落落大方地过去说在做一个街拍美女的活动，得到同意后就能想怎么拍怎么拍啦！还能以发底片之名加姑娘微信呢666666！（不要问我为什么知道）&/p&&p&搬几张朋友圈发过的…喜欢拍照后就会更加留心发现生活中的美&/p&&figure&&img data-rawwidth=&1242& data-rawheight=&1242& src=&https://pic3.zhimg.com/50/acccf4ab1a_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1242& data-original=&https://pic3.zhimg.com/50/acccf4ab1a_r.jpg&&&/figure&&figure&&img data-rawwidth=&3264& data-rawheight=&4772& src=&https://pic3.zhimg.com/50/4c27bfca4e2e32723de31_b.jpg& class=&origin_image zh-lightbox-thumb& width=&3264& data-original=&https://pic3.zhimg.com/50/4c27bfca4e2e32723de31_r.jpg&&&/figure&&figure&&img data-rawwidth=&790& data-rawheight=&449& src=&https://pic3.zhimg.com/50/69f95b87d537bffd7a5e70_b.jpg& class=&origin_image zh-lightbox-thumb& width=&790& data-original=&https://pic3.zhimg.com/50/69f95b87d537bffd7a5e70_r.jpg&&&/figure&&br&&b&9. &/b&&br&&b&钢管舞&/b&&br&&br&&br&&br&&br&&b&10.&/b&&br&&b&调酒&/b&&br&&br&&br&&b&11.&/b&&br&&b&德州扑克&/b&&br&&br&&br&&b&12.&/b&&br&&b&超轻粘土&/b&&br&&br&&br&&br&&br&&br&&br&&p&重要分割线（以下内容12周岁以下不可见）&br&&/p&&p&————————-——————————————————————————————&/p&&br&&p&&b&13. 船(chuang)技&/b&&/p&&p&说真的，不论男女，都该多去看看果壳知性里的教程，不要痴迷1024和小电影里虚假的技巧，学习几小时，幸福几十年。。。什么？首先要有。。。。不用在意，一个多年的单身汪告诉你&/p&&p&&figure&&img src=&https://pic4.zhimg.com/50/6e8f3485bb69ccb491b6245baa9a5acf_b.jpg& data-rawwidth=&505& data-rawheight=&176& class=&origin_image zh-lightbox-thumb& width=&505& data-original=&https://pic4.zhimg.com/50/6e8f3485bb69ccb491b6245baa9a5acf_r.jpg&&&/figure&&b&总会用得上的 ：）&/b&&/p&&p&&b&放个羞羞的链接&/b&&/p&&p&&b&床技大观 | 知性 最专业的情趣社区（原果壳性情）&/b&&/p&&p&&b&&a href=&//link.zhihu.com/?target=http%3A//sex.guokr.com/experience/digest_post/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&床技大观 | 知性 最专业的情趣社区（原果壳性情）&/a&&/b&&/p&一觉醒来多了好多赞（误……好多人}
看到这个问题，马上想到我那天回答的另一个问题了。我们在刻画这个世界之间的各种关系的时候，常常会希望度量“距离”： 对于空间中的两个点，我们可以用勾股定理定义平方和作为距离； 对于两个二进制序列，或者两段基因序列，我们可以用来度量二者…
&figure&&img src=&https://pic3.zhimg.com/b_b.jpg& data-rawwidth=&489& data-rawheight=&388& class=&origin_image zh-lightbox-thumb& width=&489& data-original=&https://pic3.zhimg.com/b_r.jpg&&&/figure&&p&PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。&/p&&p&当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。&/p&&h2&1. 数据的向量表示及降维问题&/h2&&p&一般情况下，在数据挖掘和&a href=&http://link.zhihu.com/?target=http%3A//lib.csdn.net/base/2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&机器学习&/a&中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下：&/p&&p&(日期, 浏览量, 访客数, 下单数, 成交数, 成交金额)&/p&&p&其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子：&/p&&img src=&http://www.zhihu.com/equation?tex=%%2C25%2C13%2C%5E%5Cmathsf%7BT%7D& alt=&(500,240,25,13,2312.15)^\mathsf{T}& eeimg=&1&&&br&&p&注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则。不过为了方便有时我会省略转置符号，但我们说到向量默认都是指列向量。&/p&&p&我们当然可以对这一组五维向量进行分析和挖掘，不过我们知道，很多机器学习算法的复杂度和数据的维数有着密切关系，甚至与维数呈指数级关联。当然，这里区区五维的数据，也许还无所谓，但是实际机器学习中处理成千上万甚至几十万维的情况也并不罕见，在这种情况下，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维。&/p&&p&降维当然意味着信息的丢失，不过鉴于实际数据本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。&/p&&p&举个例子，假如某学籍数据有两列M和F，其中M列的取值是如何此学生为男性取值1，为女性取值0；而F列是学生为女性取值1，男性取值0。此时如果我们统计全部学籍数据，会发现对于任何一条记录来说，当M为1时F必定为0，反之当M为0时F必定为1。在这种情况下，我们将M或F去掉实际上没有任何信息的损失，因为只要保留一列就可以完全还原另一列。&/p&&p&当然上面是一个极端的情况，在现实中也许不会出现，不过类似的情况还是很常见的。例如上面淘宝店铺的数据，从经验我们可以知道，“浏览量”和“访客数”往往具有较强的相关关系，而“下单数”和“成交数”也具有较强的相关关系。这里我们非正式的使用“相关关系”这个词，可以直观理解为“当某一天这个店铺的浏览量较高（或较低）时，我们应该很大程度上认为这天的访客数也较高（或较低）”。后面的章节中我们会给出相关性的严格数学定义。&/p&&p&这种情况表明，如果我们删除浏览量或访客数其中一个指标，我们应该期待并不会丢失太多信息。因此我们可以删除一个，以降低机器学习算法的复杂度。&/p&&p&上面给出的是降维的朴素思想描述，可以有助于直观理解降维的动机和可行性，但并不具有操作指导意义。例如，我们到底删除哪一列损失的信息才最小？亦或根本不是单纯删除几列，而是通过某些变换将原始数据变为更少的列但又使得丢失的信息最小？到底如何度量丢失信息的多少？如何根据原始数据决定具体的降维操作步骤？&/p&&p&要回答上面的问题，就要对降维问题进行数学化和形式化的讨论。而PCA是一种具有严格数学基础并且已被广泛采用的降维方法。下面我不会直接描述PCA，而是通过逐步分析问题，让我们一起重新“发明”一遍PCA。&/p&&h2&2. 向量的表示及基变换&/h2&&p&既然我们面对的数据被抽象为一组向量，那么下面有必要研究一些向量的数学性质。而这些数学性质将成为后续导出PCA的理论基础。&/p&&h2&3. 内积与投影&/h2&&p&下面先来看一个高中就学过的向量运算：内积。两个维数相同的向量的内积被定义为：&/p&&img src=&http://www.zhihu.com/equation?tex=%28a_1%2Ca_2%2C%5Ccdots%2Ca_n%29%5E%5Cmathsf%7BT%7D%5Ccdot+%28b_1%2Cb_2%2C%5Ccdots%2Cb_n%29%5E%5Cmathsf%7BT%7D%3Da_1b_1%2Ba_2b_2%2B%5Ccdots%2Ba_nb_n& alt=&(a_1,a_2,\cdots,a_n)^\mathsf{T}\cdot (b_1,b_2,\cdots,b_n)^\mathsf{T}=a_1b_1+a_2b_2+\cdots+a_nb_n& eeimg=&1&&&br&&p&内积运算将两个向量映射为一个实数。其计算方式非常容易理解，但是其意义并不明显。下面我们分析内积的几何意义。假设&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&是两个&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维向量，我们知道&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维向量可以等价表示为&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维空间中的一条从原点发射的有向线段，为了简单起见我们假设&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&均为二维向量，则&img src=&http://www.zhihu.com/equation?tex=A%3D%28x_1%2Cy_1%29& alt=&A=(x_1,y_1)& eeimg=&1&&，&img src=&http://www.zhihu.com/equation?tex=B%3D%28x_2%2Cy_2%29& alt=&B=(x_2,y_2)& eeimg=&1&&。则在二维平面上&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&可以用两条发自原点的有向线段表示，见下图：&/p&&figure&&img src=&https://pic1.zhimg.com/8d64151ceed0eed4de6374dc_b.png& data-rawwidth=&598& data-rawheight=&593& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic1.zhimg.com/8d64151ceed0eed4de6374dc_r.jpg&&&/figure&&p&好，现在我们从&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&点向&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&所在直线引一条垂线。我们知道垂线与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的交点叫做&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&在&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&上的投影，再设&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的夹角是&img src=&http://www.zhihu.com/equation?tex=%5Calpha+& alt=&\alpha & eeimg=&1&&，则投影的矢量长度为&img src=&http://www.zhihu.com/equation?tex=%7CA%7Ccos%28%5Calpha+%29& alt=&|A|cos(\alpha )& eeimg=&1&&，其中&img src=&http://www.zhihu.com/equation?tex=%7CA%7C%3D%5Csqrt%7Bx_1%5E2%2By_1%5E2%7D& alt=&|A|=\sqrt{x_1^2+y_1^2}& eeimg=&1&&是向量&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&的模，也就是&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&线段的标量长度。&/p&&p&注意这里我们专门区分了矢量长度和标量长度，标量长度总是大于等于0，值就是线段的长度；而矢量长度可能为负，其绝对值是线段长度，而符号取决于其方向与标准方向相同或相反。&/p&&p&到这里还是看不出内积和这东西有什么关系，不过如果我们将内积表示为另一种我们熟悉的形式：&/p&&img src=&http://www.zhihu.com/equation?tex=A%5Ccdot+B%3D%7CA%7C%7CB%7Ccos%28%5Calpha+%29& alt=&A\cdot B=|A||B|cos(\alpha )& eeimg=&1&&&br&&p&现在事情似乎是有点眉目了：&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的内积等于&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&到&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的投影长度乘以&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的模。再进一步，如果我们假设&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的模为1，即让&img src=&http://www.zhihu.com/equation?tex=%7CB%7C%3D1& alt=&|B|=1& eeimg=&1&&，那么就变成了：&/p&&img src=&http://www.zhihu.com/equation?tex=A%5Ccdot+B%3D%7CA%7Ccos%28%5Calpha+%29& alt=&A\cdot B=|A|cos(\alpha )& eeimg=&1&&&br&&p&也就是说，设向量&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的模为1，则&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&的内积值等于&img src=&http://www.zhihu.com/equation?tex=A& alt=&A& eeimg=&1&&向&img src=&http://www.zhihu.com/equation?tex=B& alt=&B& eeimg=&1&&所在直线投影的矢量长度！这就是内积的一种几何解释，也是我们得到的第一个重要结论。在后面的推导中，将反复使用这个结论。&/p&&h2&4. 基&/h2&&p&下面我们继续在二维空间内讨论向量。上文说过，一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如下面这个向量：&/p&&p&&figure&&img src=&https://pic1.zhimg.com/df6a713c1b97cc55bd20afce46ace718_b.png& data-rawwidth=&599& data-rawheight=&596& class=&origin_image zh-lightbox-thumb& width=&599& data-original=&https://pic1.zhimg.com/df6a713c1b97cc55bd20afce46ace718_r.jpg&&&/figure&在代数表示方面，我们经常用线段终点的点坐标表示向量，例如上面的向量可以表示为&img src=&http://www.zhihu.com/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&，这是我们再熟悉不过的向量表示。&/p&&p&不过我们常常忽略，只有一个&img src=&http://www.zhihu.com/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&本身是不能够精确表示一个向量的。我们仔细看一下，这里的3实际表示的是向量在x轴上的投影值是3，在y轴上的投影值是2。也就是说我们其实隐式引入了一个定义：以x轴和y轴上正方向长度为1的向量为标准。那么一个向量&img src=&http://www.zhihu.com/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&实际是说在x轴投影为3而y轴的投影为2。注意投影是一个矢量，所以可以为负。&/p&&p&更正式的说，向量(x,y)实际上表示线性组合：&/p&&img src=&http://www.zhihu.com/equation?tex=x%281%2C0%29%5E%5Cmathsf%7BT%7D%2By%280%2C1%29%5E%5Cmathsf%7BT%7D& alt=&x(1,0)^\mathsf{T}+y(0,1)^\mathsf{T}& eeimg=&1&&&br&&p&不难证明所有二维向量都可以表示为这样的线性组合。此处&img src=&http://www.zhihu.com/equation?tex=%281%2C0%29& alt=&(1,0)& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=%280%2C1%29& alt=&(0,1)& eeimg=&1&&叫做二维空间中的一组基。&/p&&figure&&img src=&https://pic1.zhimg.com/b4b5ea98c90f2abed81d470_b.png& data-rawwidth=&598& data-rawheight=&594& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic1.zhimg.com/b4b5ea98c90f2abed81d470_r.jpg&&&/figure&&p&&b&所以，要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了。&/b&只不过我们经常省略第一步，而默认以(1,0)和(0,1)为基。&/p&&p&我们之所以默认选择(1,0)和(0,1)为基，当然是比较方便，因为它们分别是x和y轴正方向上的单位向量，因此就使得二维平面上点坐标和向量一一对应，非常方便。但实际上任何两个线性无关的二维向量都可以成为一组基，所谓线性无关在二维平面内可以直观认为是两个不在一条直线上的向量。&/p&&p&例如，(1,1)和(-1,1)也可以成为一组基。一般来说，我们希望基的模是1，因为从内积的意义可以看到，如果基的模是1，那么就可以方便的用向量点乘基而直接获得其在新基上的坐标了！实际上，对应任何一个向量我们总可以找到其同方向上模为1的向量，只要让两个分量分别除以模就好了。例如，上面的基可以变为&img src=&http://www.zhihu.com/equation?tex=%28%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%2C%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=%28-%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%2C%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})& eeimg=&1&&。&/p&&p&现在，我们想获得(3,2)在新基上的坐标，即在两个方向上的投影矢量值，那么根据内积的几何意义，我们只要分别计算(3,2)和两个基的内积，不难得到新的坐标为&img src=&http://www.zhihu.com/equation?tex=%28%5Cfrac%7B5%7D%7B%5Csqrt%7B2%7D%7D%2C-%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(\frac{5}{\sqrt{2}},-\frac{1}{\sqrt{2}})& eeimg=&1&&。下图给出了新的基以及(3,2)在新基上坐标值的示意图：&/p&&figure&&img src=&https://pic2.zhimg.com/ff47d66fa67d78fa6b78d_b.png& data-rawwidth=&598& data-rawheight=&595& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic2.zhimg.com/ff47d66fa67d78fa6b78d_r.jpg&&&/figure&&p&另外这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。&/p&&h2&5. 基变换的矩阵表示&/h2&&p&下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。实际上，我们可以用矩阵相乘的形式简洁的表示这个变换：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+3+%5C%5C+2+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+5%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix} \begin{pmatrix} 3 \\ 2 \end{pmatrix} = \begin{pmatrix} 5/\sqrt{2} \\ -1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&太漂亮了！其中矩阵的两行分别为两个基，乘以原向量，其结果刚好为新基的坐标。可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+1+%26+2+%26+3+%5C%5C+1+%26+2+%26+3+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+2%2F%5Csqrt%7B2%7D+%26+4%2F%5Csqrt%7B2%7D+%26+6%2F%5Csqrt%7B2%7D+%5C%5C+0+%26+0+%26+0+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix} \begin{pmatrix} 1 & 2 & 3 \\ 1 & 2 & 3 \end{pmatrix} = \begin{pmatrix} 2/\sqrt{2} & 4/\sqrt{2} & 6/\sqrt{2} \\ 0 & 0 & 0 \end{pmatrix}& eeimg=&1&&&br&&p&于是一组向量的基变换被干净的表示为矩阵的相乘。&/p&&p&一般的，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是变换结果，其中AB的第m列为A中第m列变换后的结果。&/p&&p&数学表示为：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+p_1+%5C%5C+p_2+%5C%5C+%5Cvdots+%5C%5C+p_R+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+a_1+%26+a_2+%26+%5Ccdots+%26+a_M+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+p_1a_1+%26+p_1a_2+%26+%5Ccdots+%26+p_1a_M+%5C%5C+p_2a_1+%26+p_2a_2+%26+%5Ccdots+%26+p_2a_M+%5C%5C+%5Cvdots+%26+%5Cvdots+%26+%5Cddots+%26+%5Cvdots+%5C%5C+p_Ra_1+%26+p_Ra_2+%26+%5Ccdots+%26+p_Ra_M+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} p_1 \\ p_2 \\ \vdots \\ p_R \end{pmatrix} \begin{pmatrix} a_1 & a_2 & \cdots & a_M \end{pmatrix} = \begin{pmatrix} p_1a_1 & p_1a_2 & \cdots & p_1a_M \\ p_2a_1 & p_2a_2 & \cdots & p_2a_M \\ \vdots & \vdots & \ddots & \vdots \\ p_Ra_1 & p_Ra_2 & \cdots & p_Ra_M \end{pmatrix}& eeimg=&1&&&br&&p&其中&img src=&http://www.zhihu.com/equation?tex=p_i& alt=&p_i& eeimg=&1&&是一个行向量，表示第&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&个基，&img src=&http://www.zhihu.com/equation?tex=a_j& alt=&a_j& eeimg=&1&&是一个列向量，表示第&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&个原始数据记录。&/p&&p&特别要注意的是，这里R可以小于N，而R决定了变换后数据的维数。也就是说，我们可以将一N维数据变换到更低维度的空间中去，变换后的维度取决于基的数量。因此这种矩阵相乘的表示也可以表示降维变换。&/p&&p&最后，上述分析同时给矩阵相乘找到了一种物理解释：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说，一个矩阵可以表示一种线性变换。很多同学在学线性代数时对矩阵相乘的方法感到奇怪，但是如果明白了矩阵相乘的物理意义，其合理性就一目了然了。&/p&&h1&6. 协方差矩阵及优化目标&/h1&&p&上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？&/p&&p&要完全数学化这个问题非常繁杂，这里我们用一种非形式化的直观方法来看这个问题。&/p&&p&为了避免过于抽象的讨论，我们仍以一个具体的例子展开。假设我们的数据由五条记录组成，将它们表示成矩阵形式：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1+%26+1+%26+2+%26+4+%26+2+%5C%5C+1+%26+3+%26+3+%26+4+%264+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1 & 1 & 2 & 4 & 2 \\ 1 & 3 & 3 & 4 &4 \end{pmatrix}& eeimg=&1&&&br&&p&其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0（这样做的道理和好处后面会看到）。&/p&&p&我们看上面的数据，第一个字段均值为2，第二个字段均值为3，所以变换后：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}& eeimg=&1&&&br&&p&我们可以看下五条数据在平面直角坐标系内的样子：&/p&&p&&figure&&img src=&https://pic3.zhimg.com/eb59ef81a_b.png& data-rawwidth=&598& data-rawheight=&592& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&https://pic3.zhimg.com/eb59ef81a_r.jpg&&&/figure&现在问题来了：如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，你要如何选择？&/p&&p&通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。&/p&&p&那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。&/p&&p&以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。&/p&&p&下面，我们用数学方法表述这个问题。&/p&&h2&7. 方差&/h2&&p&上文说到，我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：&/p&&img src=&http://www.zhihu.com/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7B%28a_i-%5Cmu%29%5E2%7D& alt=&Var(a)=\frac{1}{m}\sum_{i=1}^m{(a_i-\mu)^2}& eeimg=&1&&&br&&p&由于上面我们已经将每个字段的均值都化为0了，因此方差可以直接用每个元素的平方和除以元素个数表示：&/p&&img src=&http://www.zhihu.com/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D& alt=&Var(a)=\frac{1}{m}\sum_{i=1}^m{a_i^2}& eeimg=&1&&&img src=&http://www.zhihu.com/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D+%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D& alt=&Var(a)=\frac{1} {m}\sum_{i=1}^m{a_i^2}& eeimg=&1&&&br&&p&于是上面的问题被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。&/p&&h2&8. 协方差&/h2&&p&对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。&/p&&p&如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。&/p&&p&数学上可以用两个字段的协方差表示其相关性，由于已经让每个字段均值为0，则：&/p&&img src=&http://www.zhihu.com/equation?tex=Cov%28a%2Cb%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D& alt=&Cov(a,b)=\frac{1}{m}\sum_{i=1}^m{a_ib_i}& eeimg=&1&&&br&&p&可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。&/p&&p&当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。&/p&&p&至此，我们得到了降维问题的优化目标：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。&/p&&h2&9. 协方差矩阵&/h2&&p&上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。&/p&&p&我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感：&/p&&p&假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X：&/p&&img src=&http://www.zhihu.com/equation?tex=X%3D%5Cbegin%7Bpmatrix%7D+a_1+%26+a_2+%26+%5Ccdots+%26+a_m+%5C%5C+b_1+%26+b_2+%26+%5Ccdots+%26+b_m+%5Cend%7Bpmatrix%7D& alt=&X=\begin{pmatrix} a_1 & a_2 & \cdots & a_m \\ b_1 & b_2 & \cdots & b_m \end{pmatrix}& eeimg=&1&&&br&&p&然后我们用X乘以X的转置，并乘上系数1/m：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D%3D%5Cbegin%7Bpmatrix%7D+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D+%26+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D+%5C%5C+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D+%26+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Bb_i%5E2%7D+%5Cend%7Bpmatrix%7D& alt=&\frac{1}{m}XX^\mathsf{T}=\begin{pmatrix} \frac{1}{m}\sum_{i=1}^m{a_i^2} & \frac{1}{m}\sum_{i=1}^m{a_ib_i} \\ \frac{1}{m}\sum_{i=1}^m{a_ib_i} & \frac{1}{m}\sum_{i=1}^m{b_i^2} \end{pmatrix}& eeimg=&1&&&br&&p&奇迹出现了！这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。&/p&&p&根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况：&/p&&p&设我们有&img src=&http://www.zhihu.com/equation?tex=m& alt=&m& eeimg=&1&&个&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&维数据记录，将其按列排成&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&乘&img src=&http://www.zhihu.com/equation?tex=m& alt=&m& eeimg=&1&&的矩阵&img src=&http://www.zhihu.com/equation?tex=+X& alt=& X& eeimg=&1&&，设&img src=&http://www.zhihu.com/equation?tex=C%3D%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D& alt=&C=\frac{1}{m}XX^\mathsf{T}& eeimg=&1&&，则&img src=&http://www.zhihu.com/equation?tex=C& alt=&C& eeimg=&1&&是一个对称矩阵，其对角线分别个各个字段的方差，而第&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&行&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&列和&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&行&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&列元素相同，表示&img src=&http://www.zhihu.com/equation?tex=i& alt=&i& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=j& alt=&j& eeimg=&1&&两个字段的协方差。&/p&&h2&10. 协方差矩阵对角化&/h2&&p&根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：&/p&&p&设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为X对P做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Barray%7D%7Bl+l+l%7D+D+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7DYY%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7D%28PX%29%28PX%29%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7DPXX%5E%5Cmathsf%7BT%7DP%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+P%28%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D%29P%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+PCP%5E%5Cmathsf%7BT%7D+%5Cend%7Barray%7D& alt=&\begin{array}{l l l} D & = & \frac{1}{m}YY^\mathsf{T} \\ & = & \frac{1}{m}(PX)(PX)^\mathsf{T} \\ & = & \frac{1}{m}PXX^\mathsf{T}P^\mathsf{T} \\ & = & P(\frac{1}{m}XX^\mathsf{T})P^\mathsf{T} \\ & = & PCP^\mathsf{T} \end{array}& eeimg=&1&&&br&&p&现在事情很明白了！我们要找的P不是别的，而是能让原始协方差矩阵对角化的P。换句话说，优化目标变成了寻找一个矩阵P，满足&img src=&http://www.zhihu.com/equation?tex=PCP%5E%5Cmathsf%7BT%7D& alt=&PCP^\mathsf{T}& eeimg=&1&&是一个对角矩阵，并且对角元素按从大到小依次排列，那么P的前K行就是要寻找的基，用P的前K行组成的矩阵乘以X就使得X从N维降到了K维并满足上述优化条件。&/p&&p&至此，我们离“发明”PCA还有仅一步之遥！&/p&&p&现在所有焦点都聚焦在了协方差矩阵对角化问题上，有时，我们真应该感谢数学家的先行，因为矩阵对角化在线性代数领域已经属于被玩烂了的东西，所以这在数学上根本不是问题。&/p&&p&由上文知道，协方差矩阵&img src=&http://www.zhihu.com/equation?tex=C& alt=&C& eeimg=&1&&是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：&/p&&p&1）实对称矩阵不同特征值对应的特征向量必然正交。&/p&&p&2）设特征向量&img src=&http://www.zhihu.com/equation?tex=%5Clambda& alt=&\lambda& eeimg=&1&&重数为r，则必然存在r个线性无关的特征向量对应于&img src=&http://www.zhihu.com/equation?tex=%5Clambda& alt=&\lambda& eeimg=&1&&，因此可以将这r个特征向量单位正交化。&/p&&p&由上面两条可知，一个&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&行&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&列的实对称矩阵一定可以找到n个单位正交特征向量，设这&img src=&http://www.zhihu.com/equation?tex=n& alt=&n& eeimg=&1&&个特征向量为&img src=&http://www.zhihu.com/equation?tex=e_1%2Ce_2%2C%5Ccdots%2Ce_n& alt=&e_1,e_2,\cdots,e_n& eeimg=&1&&，我们将其按列组成矩阵：&/p&&img src=&http://www.zhihu.com/equation?tex=E%3D%5Cbegin%7Bpmatrix%7D+e_1+%26+e_2+%26+%5Ccdots+%26+e_n+%5Cend%7Bpmatrix%7D& alt=&E=\begin{pmatrix} e_1 & e_2 & \cdots & e_n \end{pmatrix}& eeimg=&1&&&br&&p&则对协方差矩阵C有如下结论：&/p&&img src=&http://www.zhihu.com/equation?tex=E%5E+%5Cmathsf%7BT%7DCE%3D%5CLambda%3D%5Cbegin%7Bpmatrix%7D+%5Clambda_1+%26+%26+%26+%5C%5C+%26+%5Clambda_2+%26+%26+%5C%5C+%26+%26+%5Cddots+%26+%5C%5C+%26+%26+%26+%5Clambda_n+%5Cend%7Bpmatrix%7D& alt=&E^ \mathsf{T}CE=\Lambda=\begin{pmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \end{pmatrix}& eeimg=&1&&&br&&p&其中&img src=&http://www.zhihu.com/equation?tex=%5CLambda& alt=&\Lambda& eeimg=&1&&为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。&/p&&p&以上结论不再给出严格的数学证明，对证明感兴趣的朋友可以参考线性代数书籍关于“实对称矩阵对角化”的内容。&/p&&p&到这里，我们发现我们已经找到了需要的矩阵P：&/p&&img src=&http://www.zhihu.com/equation?tex=P%3DE%5E%5Cmathsf%7BT%7D& alt=&P=E^\mathsf{T}& eeimg=&1&&&br&&p&P是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是C的一个特征向量。如果设P按照&img src=&http://www.zhihu.com/equation?tex=%5CLambda& alt=&\Lambda& eeimg=&1&&中特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。&/p&&p&至此我们完成了整个PCA的数学原理讨论。在下面的一节，我们将给出PCA的一个实例。&/p&&h1&11. 算法及实例&/h1&&p&为了巩固上面的理论，我们在这一节给出一个具体的PCA实例。&/p&&p&&b&PCA算法&/b&&/p&&p&总结一下PCA的算法步骤：&/p&&p&设有m条n维数据。&/p&&p&1）将原始数据按列组成n行m列矩阵X&/p&&p&2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值&/p&&p&3）求出协方差矩阵&img src=&http://www.zhihu.com/equation?tex=C%3D%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D& alt=&C=\frac{1}{m}XX^\mathsf{T}& eeimg=&1&&&/p&&p&4）求出协方差矩阵的特征值及对应的特征向量&/p&&p&5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P&/p&&p&6）Y=PX即为降维到k维后的数据&/p&&p&&b&实例1&/b&&/p&&p&这里以上文提到的&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}& eeimg=&1&&&br&&p&为例，我们用PCA方法将这组二维数据其降到一维。&/p&&p&因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵：&/p&&img src=&http://www.zhihu.com/equation?tex=C%3D+%5Cfrac+%7B1%7D%7B5%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-2+%5C%5C+-1+%26+0+%5C%5C+0+%26+0+%5C%5C+2+%26+1+%5C%5C+0+%26+1+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+%5Cfrac%7B6%7D%7B5%7D+%26+%5Cfrac%7B4%7D%7B5%7D+%5C%5C+%5Cfrac%7B4%7D%7B5%7D+%26+%5Cfrac%7B6%7D%7B5%7D+%5Cend%7Bpmatrix%7D& alt=&C= \frac {1}{5}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}\begin{pmatrix} -1 & -2 \\ -1 & 0 \\ 0 & 0 \\ 2 & 1 \\ 0 & 1 \end{pmatrix}=\begin{pmatrix} \frac{6}{5} & \frac{4}{5} \\ \frac{4}{5} & \frac{6}{5} \end{pmatrix}& eeimg=&1&&&br&&p&然后求其特征值和特征向量，具体求解方法不再详述，可以参考相关资料。求解后特征值为：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Clambda_1%3D2%2C%5Clambda_2%3D2%2F5& alt=&\lambda_1=2,\lambda_2=2/5& eeimg=&1&&&br&&p&其对应的特征向量分别是：&/p&&img src=&http://www.zhihu.com/equation?tex=c_1%3D%5Cbegin%7Bpmatrix%7D+1+%5C%5C+1+%5Cend%7Bpmatrix%7D%2Cc_2%3D%5Cbegin%7Bpmatrix%7D+-1+%5C%5C+1+%5Cend%7Bpmatrix%7D& alt=&c_1=\begin{pmatrix} 1 \\ 1 \end{pmatrix},c_2=\begin{pmatrix} -1 \\ 1 \end{pmatrix}& eeimg=&1&&&br&&p&其中对应的特征向量分别是一个通解，&img src=&http://www.zhihu.com/equation?tex=c_1& alt=&c_1& eeimg=&1&&和&img src=&http://www.zhihu.com/equation?tex=c_2& alt=&c_2& eeimg=&1&&可取任意实数。那么标准化后的特征向量为：&/p&&img src=&http://www.zhihu.com/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%2C%5Cbegin%7Bpmatrix%7D+-1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix},\begin{pmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&因此我们的矩阵P是：&/p&&img src=&http://www.zhihu.com/equation?tex=P%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&P=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&可以验证协方差矩阵C的对角化：&/p&&img src=&http://www.zhihu.com/equation?tex=PCP%5E%5Cmathsf%7BT%7D%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+6%2F5+%26+4%2F5+%5C%5C+4%2F5+%26+6%2F5+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+2+%26+0+%5C%5C+0+%26+2%2F5+%5Cend%7Bpmatrix%7D& alt=&PCP^\mathsf{T}=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} 6/5 & 4/5 \\ 4/5 & 6/5 \end{pmatrix}\begin{pmatrix} 1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}=\begin{pmatrix} 2 & 0 \\ 0 & 2/5 \end{pmatrix}& eeimg=&1&&&br&&br&&p&最后我们用P的第一行乘以数据矩阵，就得到了降维后的表示：&/p&&img src=&http://www.zhihu.com/equation?tex=Y%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+-3%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%26+0+%26+3%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&Y=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}=\begin{pmatrix} -3/\sqrt{2} & -1/\sqrt{2} & 0 & 3/\sqrt{2} & -1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&br&&p&降维投影结果如下图：&/p&&p&&b&&figure&&img src=&https://pic4.zhimg.com/bfefee84b03bbff7dde06f_b.png& data-rawwidth=&595& data-rawheight=&593& class=&origin_image zh-lightbox-thumb& width=&595& data-original=&https://pic4.zhimg.com/bfefee84b03bbff7dde06f_r.jpg&&&/figure&实例2&/b&&/p&&div class=&highlight&&&pre&&code class=&language-matlab&&&span&&/span&&span class=&k&&function&/span& &span class=&nf&&linear_PCA&/span&
&span class=&c&&%% PARAMETERS&/span&
&span class=&n&&N&/span& &span class=&p&&=&/span& &span class=&mi&&500&/span&&span class=&p&&;&/span&
&span class=&c&&% number of data points&/span&
&span class=&n&&R&/span& &span class=&p&&=&/span& &span class=&p&&[&/span&&span class=&o&&-&/span&&span class=&p&&.&/span&&span class=&mi&&9&/span& &span class=&p&&.&/span&&span class=&mi&&4&/span&&span class=&p&&;&/span& &span class=&p&&.&/span&&span class=&mi&&1&/span& &span class=&p&&.&/span&&span class=&mi&&2&/span&&span class=&p&&];&/span& &span class=&c&&% covariance matrix&/span&
&span class=&c&&%% PROGRAM&/span&
&span class=&n&&tic&/span&
&span class=&n&&X&/span& &span class=&p&&=&/span& &span class=&nb&&randn&/span&&span class=&p&&(&/span&&span class=&n&&N&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&R&/span&&span class=&p&&;&/span& &span class=&c&&% correlated two-dimensional data&/span&
&span class=&p&&[&/span&&span class=&n&&E&/span&&span class=&p&&,&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&n&&Xp&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&km_pca&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&);&/span&
&span class=&c&&% obtain eigenvector matrix E, eigenvalues v and principal components Xp&/span&
&span class=&n&&toc&/span&
&span class=&c&&%% OUTPUT&/span&
&span class=&n&&Y&/span& &span class=&p&&=&/span& &span class=&n&&X&/span&&span class=&o&&*&/span&&span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&mi&&2&/span&&span class=&p&&);&/span&
&span class=&n&&figure&/span&&span class=&p&&;&/span& &span class=&n&&hold&/span& &span class=&n&&on&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&(:,&/span&&span class=&mi&&1&/span&&span class=&p&&),&/span&&span class=&n&&X&/span&&span class=&p&&(:,&/span&&span class=&mi&&2&/span&&span class=&p&&),&/span&&span class=&s&&'.'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Xp&/span&&span class=&p&&,&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Xp&/span&&span class=&p&&,&/span&&span class=&s&&'.r'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Y&/span&&span class=&p&&,&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Y&/span&&span class=&p&&,&/span&&span class=&s&&'.b'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&([&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)],[&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)],&/span&&span class=&s&&'g'&/span&&span class=&p&&,&/span&&span class=&s&&'LineWidth'&/span&&span class=&p&&,&/span&&span class=&mi&&4&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&([&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)],[&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)],&/span&&span class=&s&&'k'&/span&&span class=&p&&,&/span&&span class=&s&&'LineWidth'&/span&&span class=&p&&,&/span&&span class=&mi&&4&/span&&span class=&p&&)&/span&
&span class=&n&&axis&/span& &span class=&n&&equal&/span&
&span class=&n&&legend&/span&&span class=&p&&(&/span&&span class=&s&&'data'&/span&&span class=&p&&,&/span&&span class=&s&&'first principal components'&/span&&span class=&p&&,&/span&&span class=&s&&'second principal components'&/span&&span class=&p&&,&/span&&span class=&s&&'first principal direction'&/span&&span class=&p&&,&/span&&span class=&s&&'second principal direction'&/span&&span class=&p&&)&/span&
&span class=&n&&title&/span&&span class=&p&&(&/span&&span class=&s&&'linear PCA demo'&/span&&span class=&p&&)&/span&
&span class=&k&&function&/span&&span class=&w&& &/span&[E,v,Xp] &span class=&p&&=&/span&&span class=&w&& &/span&&span class=&nf&&km_pca&/span&&span class=&p&&(&/span&X,m&span class=&p&&)&/span&&span class=&w&&&/span&
&span class=&n&&N&/span& &span class=&p&&=&/span& &span class=&nb&&size&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&);&/span&
&span class=&p&&[&/span&&span class=&n&&E&/span&&span class=&p&&,&/span&&span class=&n&&V&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&eig&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&o&&'*&/span&&span class=&n&&X&/span&&span class=&o&&/&/span&&span class=&n&&N&/span&&span class=&p&&);&/span&
&span class=&n&&v&/span& &span class=&p&&=&/span& &span class=&nb&&diag&/span&&span class=&p&&(&/span&&span class=&n&&V&/span&&span class=&p&&);&/span&
&span class=&p&&[&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&n&&ind&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&sort&/span&&span class=&p&&(&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&s&&'descend'&/span&&span class=&p&&);&/span&
&span class=&n&&E&/span& &span class=&p&&=&/span& &span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&n&&ind&/span&&span class=&p&&);&/span&
&span class=&n&&Xp&/span& &span class=&p&&=&/span& &span class=&n&&X&/span&&span class=&o&&*&/span&&span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&mi&&1&/span&&span class=&p&&:&/span&&span class=&n&&m&/span&&span class=&p&&);&/span&
&/code&&/pre&&/div&&p&结果&/p&&p&&figure&&img src=&https://pic2.zhimg.com/b_b.jpg& data-rawwidth=&489& data-rawheight=&388& class=&origin_image zh-lightbox-thumb& width=&489& data-original=&https://pic2.zhimg.com/b_r.jpg&&&/figure&(说明，为了画图效果，计算协方差矩阵之前没有将数据中心化)&/p&&h1&12. 进一步讨论&/h1&&p&根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。&/p&&p&因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。&/p&&p&最后需要说明的是，PCA是一种无参数技术，也就是说面对同样的数据，如果不考虑清洗，谁来做结果都一样，没有主观参数的介入，所以PCA便于通用实现，但是本身无法个性化的优化。&/p&&p&希望这篇文章能帮助朋友们了解PCA的数学理论基础和实现原理，借此了解PCA的适用场景和限制，从而更好的使用这个算法。&/p&&p&本文转于整理于&a href=&http://link.zhihu.com/?target=http%3A//blog.csdn.net/xiaojidan2011/article/details/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&blog.csdn.net/xiaojidan&/span&&span class=&invisible&&2011/article/details/&/span&&span class=&ellipsis&&&/span&&/a&&/p&
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述…
&ul&&li&域名可以用.tk的免费域名&br&&/li&&li&空间可以用github&br&&/li&&li&模板可以用jekyll&br&&/li&&li&主题上网找：&a href=&//link.zhihu.com/?target=http%3A//jekyllthemes.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Jekyll Themes&/a&&br&&/li&&li&内容需要好好研究&/li&&/ul&
域名可以用.tk的免费域名 空间可以用github 模板可以用jekyll 主题上网找： 内容需要好好研究
&p&在办公室养合适的植物可以帮助净化空气，舒缓你的心情~但办公室阳光条件较差（除了阳面窗边），有一定的灯光光照补充；通风条件相对较弱，适合养喜阴的植物。&b&今天木安给大家介绍6种适合办公室养的小盆栽，想要把它们养死很难哟！还包括具体的养护方法！养花杀手和懒人的福音来啦！同样也适合家庭的背阴面哈~&/b&&/p&&p&&a href=&//link.zhihu.com/?target=http%3A//dwz.cn/6rB6aN& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&dwz.cn/6rB6aN&/span&&span class=&invisible&&&/span&&/a&&/p&&p&&b&1、 绿萝&/b&&/p&&p&推荐指数：★★★★★&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-3ad2fdd40cc572d9df3fd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-3ad2fdd40cc572d9df3fd_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&&b&基本简介：&/b&绿萝叶片碧绿娇秀，观赏性强；生命力也极强；还能吸收空气中的甲醛、苯（复印机、打印机排放苯）等有害气体。&/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜散射光、耐阴，遇水即活，水养、土养均可。&/p&&p&&br&&/p&&p&放在办公桌上，只要不忘记给它浇水，一般都可以长得很好。掐下一小段枝条，放在装有水的容器里，一段时间之后，也会生根继续成长。不让水干就好，不需要怎么打理，最适合懒人养啦！&/p&&p&&br&&/p&&p&工作休息间隙，看看满盆绿绿的绿萝，是不是很令人赏心悦目呀~&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-b6178f28fbf8da5e56d48b_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-b6178f28fbf8da5e56d48b_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&一般新买的绿萝到新环境都有1个月左右的适应期，底部黄叶属正常。&/p&&p&2&/p&&p&但是切记：黄叶或死叶不要直接剥掉，要从叶柄中部剪断，这样避免直接从枝条上剥离造成过多水分流失和增加伤口，从而导致上部的叶片还会发黄。&/p&&p&&br&&/p&&p&&b&2、 铜钱草&/b&&/p&&p&推荐指数：★★★★★&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-8b3e9df6f53e2c0c982105_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&364& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/50/v2-8b3e9df6f53e2c0c982105_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&铜钱草似圆伞形，娇俏可爱。根系发达的铜钱草，很快就能蔓延满容器，养眼十足。&/p&&p&&br&&/p&&p&&b&生长习性：&/b&铜钱草喜温暖潮湿，忌阳光直射，较适合在光照不够充足的办公室生长。&/p&&p&&br&&/p&&p&鉴于干净、养眼的原则，办公室的铜钱草一般以水养为主。水养的铜钱草适合粗养，只要水没有腐臭，给它加加水就好。铜钱草繁殖性强，保证光照和水分，就可以长得非常快。&/p&&p&&br&&/p&&p&看着满盆美美哒小铜钱，好养眼呢~&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-d90a774b88fe76eb86e834e_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&443& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-d90a774b88fe76eb86e834e_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&铜钱草也会开花。开花后的铜钱草会减弱生长，叶子变小，可以将冒出花苞的部分花杆剪掉，确保足够的营养保证叶片的生长。&/p&&p&2&/p&&p&在淘宝上可以买到铜钱草种子、种芽或者成品，价格较便宜，可按需购买。&/p&&p&&br&&/p&&p&&b&3、 富贵竹&/b&&/p&&p&推荐指数：★★★★★&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-644d56b2c9e1c6e661fffbb_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&624& data-rawheight=&468& class=&origin_image zh-lightbox-thumb& width=&624& data-original=&https://pic2.zhimg.com/50/v2-644d56b2c9e1c6e661fffbb_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&富贵竹茎叶纤秀、柔美优雅，枝干有类似竹节的枝节；也有一定空气净化能力。 &/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜阴湿高温，耐涝，抗寒力强；不适合暴晒；对光照要求不严，适宜在明亮散射光下生长，所以灯火通明的办公室还是较适合富贵竹生长的。&/p&&p&&br&&/p&&p&办公室的富贵竹多以水养为主。如果是刚买来的没有生根的富贵竹，枝茎底部要斜着（大概45度角）减去一小段，注意切口要平滑，有利于富贵竹更好地吸水；也要剪掉底部的叶子（瓶口以下不要留叶子），防止抑制富贵竹自身的生长。&/p&&p&&br&&/p&&p&在刚开始养时，要勤换水，但生根之后几乎可以不用换水，只需往里加水就好了。&/p&&p&&br&&/p&&p&又是懒人的福音呢，哈哈！&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-7bc3b5d373a93dea581a36_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&486& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-7bc3b5d373a93dea581a36_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&容器里的水达到花瓶三分之一处即可，不要多于三分之二，否则容易造成根茎腐烂。&/p&&p&2&/p&&p&不要将富贵竹摆放在空调、电扇直接能吹到的地万，以免叶尖及叶缘干燥。&/p&&p&&br&&/p&&p&&b&4、 吊兰&/b&&/p&&p&推荐指数：★★★★☆&/p&&figure&&img src=&https://pic2.zhimg.com/50/v2-9ea6ec493dc570ca17c3e5_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&423& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/50/v2-9ea6ec493dc570ca17c3e5_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&吊兰叶片细长柔软，从叶腋（叶与茎的夹角处）抽生出的小枝条，会继续生长出新的小吊兰，枝条下垂时甚是好看。&/p&&p&&br&&/p&&p&&b&生长习性：&/b&吊兰性喜温暖湿润、半阴的环境，也是水养土样均可。较耐旱，不耐寒。&/p&&p&&br&&/p&&p&如果想要达到众多枝条下垂的效果，建议盆土种植并适当施肥（一般去花店买肥料按照说明施肥即可）。记得保持土壤湿润哦~&/p&&p&&br&&/p&&p&另外，吊兰能在微弱的光线（比如办公室里的灯光）下进行光合作用，可吸收室内的有害气体（如甲醛），也能在24小时都释放氧气。&/p&&p&&br&&/p&&p&所以放在办公桌上过滤下空气也是很好哒~&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-18dcb9fc18cffdfd68dea_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&425& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/50/v2-18dcb9fc18cffdfd68dea_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&吊兰生长迅速，过多的新枝条会影响叶片生长，可以适当减去一些；下部枯叶、黄叶也要随时摘去，叶尖发黄时用剪刀斜着剪去黄头。&/p&&p&2&/p&&p&吊兰喜欢湿润环境，夏季气温高、蒸发快，浇水要充足，防干枯。但冬季吊兰基本停止生长，应少浇水，否则容易烂根。&/p&&p&&br&&/p&&p&&b&5、 芦荟&/b&&/p&&p&推荐指数：★★★★☆&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-fbf90ed1a38c6c6c80c005d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&390& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-fbf90ed1a38c6c6c80c005d_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&芦荟是常绿、多肉的草本植物，叶片肥厚，边缘呈锯齿状，也是萌萌哒多肉植物的一种~也能有效吸收室内的有害气体（如甲醛）哦~&/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜光照，耐半阴，不耐涝，不耐寒。&/p&&p&&br&&/p&&p&芦荟繁殖较快，生长较好的话，根茎周边会长出小侧芽，侧芽也会慢慢变多的。拔出已经长出独立根系的小侧芽种植到土里，也较容易成活。&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-5e6d51ec223670dae824dc_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&960& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-5e6d51ec223670dae824dc_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&芦荟耐旱，不浇和少浇水一般影响不大，但如果土中积水，就会导致根烂淹死，所以不能过于频繁地给芦荟浇水。&/p&&p&2&/p&&p&芦荟底部的小芽，长出后不要急于拔掉，待根基稳固后再拨出分栽，增加新芽种植的成活率。&/p&&p&&br&&/p&&p&&b&6、 仙人球&/b&&/p&&p&推荐指数：★★★★☆&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-9b05ccdac4b40810b46caea7_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&480& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-9b05ccdac4b40810b46caea7_r.jpg&&&/figure&&p&&br&&/p&&p&&b&基本简介：&/b&仙人球呈球形或椭圆柱形，外部长满硬刺，形态奇特，放在办公桌上还是很迷人的。而且它也是吸附灰尘的高手呢！&/p&&p&&br&&/p&&p&&b&生长习性：&/b&喜干，耐旱，较容易栽培。最好使用排水性能较好的沙质土壤种植。&/p&&p&&br&&/p&&p&仙人球要求土壤干燥，不要浇太多水，否则根部会烂掉。所以宁干勿湿：春夏最好一至两个月浇一次，秋冬两至三个月即可。&/p&&p&&br&&/p&&p&想起来的时候，给它浇浇水就好啦~&/p&&figure&&img src=&https://pic3.zhimg.com/50/v2-cc76aca92ccec9cb632f5_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&410& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic3.zhimg.com/50/v2-cc76aca92ccec9cb632f5_r.jpg&&&/figure&&p&&b&小提示：&/b&&/p&&p&1&/p&&p&仙人球也是会开花的，以白色为主，也有黄色、粉色的花朵。花形像张开的喇叭，花瓣像多层的小莲花。&/p&&p&2&/p&&p&但仙人球要光照充足才能开花，所以在以灯光照明为主的办公室，仙人球开花概率会减小，有条件的朋友可以把仙人球放到阳光充足的窗边养护。&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-f1a09ae58c6bc07b1dbd75b772aabf5d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&891& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/v2-f1a09ae58c6bc07b1dbd75b772aabf5d_r.jpg&&&/figure&&p&&br&&/p&&p&今天木安给大家分享的是入门级的适合办公室养护的观叶植物（一般指叶形和叶色美丽的植物），不知道能不能满足你的需求呢？&/p&&p&&br&&/p&&p&别着急哦，以后会有进阶级的适合办公室栽培的其它观叶植物和观花植物（以观花为主的植物）介绍给大家，敬请期待~可以关注我的公众号“木安的花房”来看~&/p&&p&也真诚欢迎爱花人加我的微信公众号wuyangjuan2，来和我交流~&/p&&p&&br&&/p&&p&&b&END&/b&&/p&&p&&b&……………………………………我是华丽丽的分割线…………………………………………………&/b&&/p&&p&&b&更新&/b&&/p&&p&我又盘点了20种适合室内养的植物，点击下方链接即可：&/p&&p&&a href=&https://www.zhihu.com/question//answer/& class=&internal&&&span class=&invisible&&https://www.&/span&&span class=&visible&&zhihu.com/question/2918&/span&&span class=&invisible&&1149/answer/&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&希望能给你多一点选择~挑几种你喜欢的植物养，把家装点得更美好吧~&/p&
在办公室养合适的植物可以帮助净化空气，舒缓你的心情~但办公室阳光条件较差（除了阳面窗边），有一定的灯光光照补充；通风条件相对较弱，适合养喜阴的植物。今天木安给大家介绍6种适合办公室养的小盆栽，想要把它们养死很难哟！还包括具体的养护方法！养花…
&p&总算看到一个能认真回答的问题了，从小到大乐于学习各种有用的没用的小技能，常常会被感慨：&/p&&p&&b&这你也会！&/b&&/p&&p&&b&这你咋又会！&/b&&/p&&p&&b&这你特么的竟然也会！&/b&&/p&&p&但是由于是三分钟热度的性格，一般技能也就止步于糊弄外行人阶段。也没想作为才艺展示，更多的是好奇和兴趣。&/p&&br&&p&&b&先说几个如果学精了就能上《最强大脑》，没学精就呵呵哒的技能——&/b&&/p&&br&&p&&b&1.
&br&珠心算&/b&。&/p&&p& 嗯，小时候就能迅速算出四五个五位数以上的加法，多位数乘多位数，唯一的好处就是参加口算竞赛拿了奖，然而——高中数学在及格线上挣扎and现在忘得光光的了，这么光&figure&&img src=&https://pic2.zhimg.com/50/0db0d0a76_b.jpg& data-rawwidth=&228& data-rawheight=&266& class=&content_image& width=&228&&&/figure&&br&&/p&&p&&b&2.
&br&魔方。&/b&&/p&&p&没学精，当时只能做到几分钟拧好，也没学什么盲拧，十二阶魔方，水下拧之类的花式，根本木有机会炫耀！就算是泡妹子，花三分钟哼哼哈嘿拧个魔方，妹子都跑远了。。。远了。。了。&/p&&figure&&img src=&https://pic1.zhimg.com/50/79fbbb51adb5e_b.jpg& data-rawwidth=&440& data-rawheight=&312& class=&origin_image zh-lightbox-thumb& width=&440& data-original=&https://pic1.zhimg.com/50/79fbbb51adb5e_r.jpg&&&/figure&&br&&p&&b&3.&/b&&b&
各种不高大上的手工&/b&&/p&&p& 剪窗花，折纸，落叶拼图，橡皮泥之类的童年时期都痴迷过一阵子，还模仿尼尔叔叔的《艺术创想》做了很多渣手工。唯一留存下来的两本窗花和树叶收集册也在一次搬家时弄丢了，心疼/(ㄒoㄒ)/~~好像有点偏题，成年后这些貌似没有什么好展示了…orz ，除非玩到出神入化的境界，不过这就不符合题主短期学会的条件设定了。&/p&&figure&&img src=&https://pic4.zhimg.com/50/5ce877cdc333f848ae2f91_b.jpg& data-rawwidth=&1116& data-rawheight=&628& class=&origin_image zh-lightbox-thumb& width=&1116& data-original=&https://pic4.zhimg.com/50/5ce877cdc333f848ae2f91_r.jpg&&&/figure&&br&&br&&p&&b&4.
&br&女子擒拿手，防狼十三招&/b&&/p&&p&至今没遇到使用的机会QAQ&/p&&figure&&img src=&https://pic1.zhimg.com/50/ddd646ed255bfc9e5f8e_b.jpg& data-rawwidth=&337& data-rawheight=&341& class=&content_image& width=&337&&&/figure&&br&&br&&p&&b&5.
摩斯密码&/b&&/p&&p&没有神马用处，只有一次密室逃脱时用到过，以后也许可以给心上人写秘密情书。&/p&&figure&&img src=&https://pic3.zhimg.com/50/bdad0feb378d1c_b.jpg& data-rawwidth=&244& data-rawheight=&244& class=&content_image& width=&244&&&/figure&&br&&b&6. 泡妞技能&/b&&br&有段时间流行pua那套，认真去学习了一番，可惜自己是个妞。&br&&br&&p&接着说几个比较有趣的技能~以下技能按学习时间排序&/p&&br&&p&&b&1.
&br&&/b&&b&算命&/b&（是的你没有看错！这是我小学就开始学习的！）&br&&/p&&p&这是直到如今还用得上的实用技能啊！遇见喜欢的汉纸可以看看面相手相啥的，认识后可以再算算生辰八字合不合，不要说我封建迷信喵~老祖宗传下来的东西还是很有用的，但是星座属相三观八字再合也不一定能在一起啊。。。这是个悲伤的故事，此处略过几千次字。&/p&&br&&p&“算命”涵盖的范围其实非常广，我会的只有少数几项，如看手相面相，称骨算命，痣相吉凶，看着书也能帮着合个八字什么的。西方的星座运程和塔罗牌也都认真钻研过几个月，本来还想学学水晶球占卜未来的，但因为小学森没有钱买真正的水晶球而作罢。&/p&&br&&p&初中时候对太上老君符咒感兴趣，画了一堆“神符”，比如镇煞护身符，聚财符，做成钥匙扣送亲友送同学，就是下图这种，用毛笔在黄纸上一点点临摹的，还对自己默念心诚则灵，心诚则灵。&figure&&img src=&https://pic1.zhimg.com/50/ef0f8ae9c685aa32e993_b.jpg& data-rawwidth=&264& data-rawheight=&600& class=&content_image& width=&264&&&/figure&&/p&&p&发烧时还会给自己画&b&除寒热灵符&/b&，暗恋学长时默默画&b&良缘符&/b&，印象深刻的是还有个“&b&大便不通符&/b&”，（有需要的吗？）现在想起当时傻乎乎的萝莉，&/p&&figure&&img src=&https://pic4.zhimg.com/50/efd73ccf01a5_b.jpg& data-rawwidth=&469& data-rawheight=&302& class=&origin_image zh-lightbox-thumb& width=&469& data-original=&https://pic4.zhimg.com/50/efd73ccf01a5_r.jpg&&&/figure&&br&&p&&b&2.
&br&魔术&/b&&/p&&p&初中时喜欢魔术，刚巧去上学的路上开了一家魔术用品店，每天上学途中就去买买买，学会了表演给同学邻居们看，还买过假血，断手指，吹不灭蜡烛，放屁坐垫各种恶搞的魔术道具。&/p&&p&个人最不喜欢扑克型的魔术，大多说到底都是些数学规则，不好玩儿。易于展示的话，学些把餐巾变成玫瑰，硬币变成戒指，卫生纸变成毛爷爷这种比较抓眼球。&/p&&p&入门也炒鸡简单，网上随便找几个视频学学就好了。&/p&&br&&p&&b&3.
&br&做菜＋生活小妙招&/b&&/p&&p&有很多人说自己不会做饭，这让我很讶异，这不是分分种就能学会的咩~从小喜欢看《夕阳红：家有妙招》，&br&《天天饮食》， 《食来运转》， 《生活一点通》这类主妇最爱的节目，就算很少机会下厨，临时做做功课捯饬出一桌年夜饭也并不困难。再退一万步说，手残星人买些白盘子，花几十分钟摆个盘看起来也会棒棒哒~下图是端午那天做给母上吃的早餐（更像给孩子吃的--），美队水果盘＋晚餐，只要看看下厨房里大神们给的菜谱，再加点创意摆个位置，十指不沾阳春水的盆友们也能做出来的。&b&适当学点西瓜皮拉花，胡萝卜雕花这些技能会更好。&/b&&/p&&br&&p&早餐：粽子＋煎蛋＋鸡蛋酒酿＋椰奶小方＋杨梅糖水&/p&&figure&&img src=&https://pic3.zhimg.com/50/fa3dac408ccd28a327aa8c2aada0906e_b.jpg& data-rawwidth=&720& data-rawheight=&828& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic3.zhimg.com/50/fa3dac408ccd28a327aa8c2aada0906e_r.jpg&&&/figure&&br&&br&&br&&figure&&img data-rawwidth=&1072& data-rawheight=&1500& src=&https://pic3.zhimg.com/50/v2-16b2e5daadf9f1d87c8d983_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1072& data-original=&https://pic3.zhimg.com/50/v2-16b2e5daadf9f1d87c8d983_r.jpg&&&/figure&&br&&figure&&img data-rawwidth=&1280& data-rawheight=&1280& src=&https://pic3.zhimg.com/50/v2-530b206bd246b4b94dea8_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&https://pic3.zhimg.com/50/v2-530b206bd246b4b94dea8_r.jpg&&&/figure&&br&&figure&&img data-rawwidth=&1072& data-rawheight=&1501& src=&https://pic3.zhimg.com/50/v2-64e2aef354815_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1072& data-original=&https://pic3.zhimg.com/50/v2-64e2aef354815_r.jpg&&&/figure&&br&&p&美队果盘：蓝莓＋车厘子＋桃子＋苹果＋西瓜&/p&&figure&&img src=&https://pic2.zhimg.com/50/8bcbeb13cbc98a384ad92071_b.jpg& data-rawwidth=&720& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic2.zhimg.com/50/8bcbeb13cbc98a384ad92071_r.jpg&&&/figure&&br&&p&杂果盘：略&/p&&figure&&img src=&https://pic4.zhimg.com/50/5ce43eca840acdf585c945ee1c1cb190_b.jpg& data-rawwidth=&640& data-rawheight=&817& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/50/5ce43eca840acdf585c945ee1c1cb190_r.jpg&&&/figure&&br&&p&晚餐：牛排＋意面，木瓜椰奶冻，奶油鸡肉玉米浓汤，芒果布丁&/p&&figure&&img src=&https://pic1.zhimg.com/50/152fb01ae6c1e96aaad49d2f_b.jpg& data-rawwidth=&914& data-rawheight=&720& class=&origin_image zh-lightbox-thumb& width=&914& data-original=&https://pic1.zhimg.com/50/152fb01ae6c1e96aaad49d2f_r.jpg&&&/figure&&br&一&br&做个饭比较费时…下图二的几块翻糖饼干做了将近一天啊呜&br&&br&&figure&&img data-rawwidth=&2446& data-rawheight=&3264& src=&https://pic1.zhimg.com/50/87ed3f9a443f93f35bcd04b2b143f8f2_b.jpg& class=&origin_image zh-lightbox-thumb& width=&2446& data-original=&https://pic1.zhimg.com/50/87ed3f9a443f93f35bcd04b2b143f8f2_r.jpg&&&/figure&&figure&&img data-rawwidth=&2123& data-rawheight=&2830& src=&https://pic2.zhimg.com/50/6fe5d3a4901cebd5c996a9f497e9b95c_b.jpg& class=&origin_image zh-lightbox-thumb& width=&2123& data-original=&https://pic2.zhimg.com/50/6fe5d3a4901cebd5c996a9f497e9b95c_r.jpg&&&/figure&&br&学厨艺戳这里 最爱的网站之一&br&下厨房&br&&a href=&//link.zhihu.com/?target=http%3A//www.xiachufang.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&下厨房&/a&&br&&br&&p&啊呜。。。写得有点累，接着简单点&/p&&br&&p&&b&4.
&br&马杀鸡&/b&&/p&&p&去美容院做了肩背按摩，胸部按摩后就在网上搜相关视频自学，学好后应该是一个孝敬父母的小技能外加泡汉利器吧。。。&/p&&br&&p&&b&5.
&br&&/b&&b&Photoshop&/b&&/p&&p&给妹子修图什么的很能刷好感啊，去学去学gogogo&/p&&br&&p&&b&6.
&br&尤克里里&/b&&/p&&p&这个看到很多人都回答了，简单易学，不过我开始学是因为《老爸老妈浪漫史》，还买了老妈同款的尤克里里，期待能学好后弹唱着《la vie en rose》邂逅隔壁的the one。&/p&&figure&&img src=&https://pic4.zhimg.com/50/deddfe1a71f6cf_b.jpg& data-rawwidth=&600& data-rawheight=&337& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic4.zhimg.com/50/deddfe1a71f6cf_r.jpg&&&/figure&&br&&p&&b&7.&/b&&/p&&p&&b&画画儿&/b&&/p&&p&超级羡慕会画画的大触们呀，但是依旧只学了一丁点皮毛，不过画画礼物包装盒，画几幅简单的油画讨几个赞还是可以的。&/p&&figure&&img data-rawwidth=&750& data-rawheight=&750& src=&https://pic1.zhimg.com/50/dd24b32bf218e3d36ef6_b.jpg& class=&origin_image zh-lightbox-thumb& width=&750& data-original=&https://pic1.zhimg.com/50/dd24b32bf218e3d36ef6_r.jpg&&&/figure&&figure&&img data-rawwidth=&605& data-rawheight=&927& src=&https://pic4.zhimg.com/50/35ed9bd9df66d_b.jpg& class=&origin_image zh-lightbox-thumb& width=&605& data-original=&https://pic4.zhimg.com/50/35ed9bd9df66d_r.jpg&&&/figure&&figure&&img data-rawwidth=&2361& data-rawheight=&3148& src=&https://pic2.zhimg.com/50/01df80cafd70cbf2f04d64e8_b.jpg& class=&origin_image zh-lightbox-thumb& width=&2361& data-original=&https://pic2.zhimg.com/50/01df80cafd70cbf2f04d64e8_r.jpg&&&/figure&&br&&p&&b&8.&/b&&/p&&p&&b&摄影&/b&&/p&&p&这个技能其实异常实用，不但容易展示而且特别刷存在感和好感，配合熟练的P图技术使用更佳，谁不喜欢能把自己拍得美美的朋友呢～&/p&&p&提问：在大街上看见美女怎么偷拍不会被打?&/p&&p&答：不偷拍就不会被打，挂一个看似专业的相机，落落大方地过去说在做一个街拍美女的活动，得到同意后就能想怎么拍怎么拍啦！还能以发底片之名加姑娘微信呢666666！（不要问我为什么知道）&/p&&p&搬几张朋友圈发过的…喜欢拍照后就会更加留心发现生活中的美&/p&&figure&&img data-rawwidth=&1242& data-rawheight=&1242& src=&https://pic3.zhimg.com/50/acccf4ab1a_b.jpg& class=&origin_image zh-lightbox-thumb& width=&1242& data-original=&https://pic3.zhimg.com/50/acccf4ab1a_r.jpg&&&/figure&&figure&&img data-rawwidth=&3264& data-rawheight=&4772& src=&https://pic3.zhimg.com/50/4c27bfca4e2e32723de31_b.jpg& class=&origin_image zh-lightbox-thumb& width=&3264& data-original=&https://pic3.zhimg.com/50/4c27bfca4e2e32723de31_r.jpg&&&/figure&&figure&&img data-rawwidth=&790& data-rawheight=&449& src=&https://pic3.zhimg.com/50/69f95b87d537bffd7a5e70_b.jpg& class=&origin_image zh-lightbox-thumb& width=&790& data-original=&https://pic3.zhimg.com/50/69f95b87d537bffd7a5e70_r.jpg&&&/figure&&br&&b&9. &/b&&br&&b&钢管舞&/b&&br&&br&&br&&br&&br&&b&10.&/b&&br&&b&调酒&/b&&br&&br&&br&&b&11.&/b&&br&&b&德州扑克&/b&&br&&br&&br&&b&12.&/b&&br&&b&超轻粘土&/b&&br&&br&&br&&br&&br&&br&&br&&p&重要分割线（以下内容12周岁以下不可见）&br&&/p&&p&————————-——————————————————————————————&/p&&br&&p&&b&13. 船(chuang)技&/b&&/p&&p&说真的，不论男女，都该多去看看果壳知性里的教程，不要痴迷1024和小电影里虚假的技巧，学习几小时，幸福几十年。。。什么？首先要有。。。。不用在意，一个多年的单身汪告诉你&/p&&p&&figure&&img src=&https://pic4.zhimg.com/50/6e8f3485bb69ccb491b6245baa9a5acf_b.jpg& data-rawwidth=&505& data-rawheight=&176& class=&origin_image zh-lightbox-thumb& width=&505& data-original=&https://pic4.zhimg.com/50/6e8f3485bb69ccb491b6245baa9a5acf_r.jpg&&&/figure&&b&总会用得上的 ：）&/b&&/p&&p&&b&放个羞羞的链接&/b&&/p&&p&&b&床技大观 | 知性 最专业的情趣社区（原果壳性情）&/b&&/p&&p&&b&&a href=&//link.zhihu.com/?target=http%3A//sex.guokr.com/experience/digest_post/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&床技大观 | 知性 最专业的情趣社区（原果壳性情）&/a&&/b&&/p&一觉醒来多了好多赞（误……好多人}
我要回帖
更多关于 司夏塔罗 的文章
更多推荐
- ·什么网站在哪里可以看最全的电影电影？
- ·怎么可以恢复iphone短信删除怎么恢复记录？
- ·广东舞蹈专业的大学有哪些生参加博罗普通高中招生有优势吗？
- ·舞蹈生推荐哪所惠州艺术学校是公立还是私立市普通高中？
- ·想找一个动画，主角是一个主角是电视机头的动漫也有可能是老式电脑头和一个手提音响头也有可能是老式磁带录音机？
- ·何炅代言的蛋糕什么东西，在广州这边，地铁那里，没认真看
- ·求一首only you英文歌原唱，歌曲原唱男孩是十三 四岁变声期唱的，mv是一个铁路，高铁运行之类的，一直在跑
- ·如夏塔罗占卜准吗怎么样，可准？
- ·想去cp22是什么展的展子，因为那场展子是全国最大的展子，不去我怕后悔，但是我想住宿，怎么和老妈说？ps:
- ·抖音上那个易烊千玺的抖音账号喜欢有文化的女孩子怎么弄
- ·有谁知道上海申阿婆青浦店饭店吗，具体在哪里的
- ·如何在怎么将电脑上的视频传到U盘里边下载视频到U盘中？（在优酷视频中下载）要具体步骤，谢谢
- ·求舒克和贝塔 喜马拉雅MP3，最好是喜马拉雅版本的
- ·我的世界怎么做房间，我开了一个房间，每次别人一进来就退出去，这是为什么？
- ·不打游戏的男生会有人要吗，还有不喝酒的。 人比较幽默会下厨，不过有点坏习惯就是抽烟！
- ·求电影《奇迹男孩中文版百度云》百度云资源，谢谢
- ·足50克银条多少钱有罗汉图，值多少钱
- ·专门在内涵段子 快手或快手录制发布视频的人，他们是怎样赚钱的？他们这种行业叫什么
- ·我这个电脑配置能玩那些大型玩单机游戏的电脑配置？？？
- ·如夏塔罗师‍师的微‍信‍号‍是多少啊
- ·求这个图片的出处
- ·这个视频抖音怎么看主页完整版完整版
- ·波多野统衣番号无码YEJIEYI和那小男孩 号是多少
- ·求东京吃货漫画百度云的漫画百度云全集
- ·何时才能继续wwWjyhscjcom欣赏,里面的209WE那写节目com呀
- ·求一本书的名字。关于平行世界书的，有个人的名字叫翔。名字里好像有个字是橘
- ·求秘果电视剧免费百度云百度云
- ·为什么打游戏能当饭吃可以当饭吃?
- ·有谁知道这个亚洲欧美的恐怖片和亚洲的，大概是03年左右看到的，就看啦一点开头
- ·残局斗地主残局第19关专家第五十关，怎么破解法
- ·这个翡翠翡翠a货手镯值多少钱钱
- ·刺激战场视野pc版为什么视野老锁定啊
- ·求个情头情侣头像查找另一半半
- ·一半粉色一半蓝色头发发的男猫和卷粉色头发的女生，请问这是什么漫画
- ·本人女性生于农历2月301991十月十二日哪位大师帮忙看看
