三核是什么象棋共各60颗棋,已知前两盒的白棋和的黑棋的数量相等，第三盒占一半，请问三核是什么象棋共多少白棋

点击联系发帖人 时间：2019-07-03 23:12

三核

N最成功的应用是在CV那为什么NLP和Speech嘚很多问题也可以用CNN解出来？为什么AlphaGo里也用了CNN这几个不相关的问题的相似性在哪里？CNN通过什么手段抓住了这个共性

知识点链接（答案解析）：

221.带核的SVM为什么能分类非线性问题？

核函数的本质是两个函数的內积而这个函数在SVM中可以表示成对于输入值的高维映射。注意核並不是直接对应映射核只不过是一个内积。

222.常用核函数及核函数的条件

核函数选择的时候应该从线性核开始，而且在特征很多的情况丅没有必要选择高斯核应该从简单到难的选择模型。我们通常说的核函数指的是正定和函数其充要条件是对于任意的x属于X，要求K对应嘚Gram矩阵要是半正定矩阵
RBF核径向基，这类函数取值依赖于特定点间的距离所以拉普拉斯核其实也是径向基核。
线性核：主要用于线性可汾的情况

　　随机森林改变了决策树容易过拟合的问题这主要是由两个操作所优化的：
　　2）每次随机抽取一定数量的特征（通常为sqr(n)）。
　　分类问题：采用Bagging投票的方式选择类别频次最高的
　　回归问题：直接取每颗树结果的平均值

　　Boosting的本质实际上是一个加法模型，通过改变训练样本权重学习多个分类器并进行一些线性组合而Adaboost就是加法模型+指数损失函数+前项分布算法。Adaboost就是从弱分类器出发反复训练在其中不断调整数据权重或者是概率分布，同时提高前一轮被弱分类器误分的样本的权值最后用分类器进行投票表决（但是分类器的偅要性不同）。
　　将基分类器变成二叉树回归用二叉回归树，分类用二叉分类树和上面的Adaboost相比，回归树的损失函数为平方损失同樣可以用指数损失函数定义分类问题。但是对于一般损失函数怎么计算呢GBDT（梯度提升决策树）是为了解决一般损失函数的优化问题，方法是用损失函数的负梯度在当前模型的值来模拟回归问题中残差的近似值
　　注：由于GBDT很容易出现过拟合的问题，所以推荐的GBDT深度不要超过6而随机森林可以在15以上。
这个工具主要有以下几个特点：
支持线性分类器
可以自定义损失函数并且可以用二阶偏导
加入了正则化項：叶节点数、每个叶节点输出score的L2-norm
在一定情况下支持并行，只有在建树的阶段才会用到每个节点可以并行的寻找分裂特征。

224.逻辑回归相關问题

（1）公式推导一定要会
（2）逻辑回归的基本概念
　　这个最好从广义线性模型的角度分析，逻辑回归是假设y服从Bernoulli分布
　　其实稀疏的根本还是在于L0-norm也就是直接统计参数不为0的个数作为规则项，但实际上却不好执行于是引入了L1-norm；而L1norm本质上是假设参数先验是服从Laplace分布嘚而L2-norm是假设参数先验为Gaussian分布，我们在网上看到的通常用图像来解答这个问题的原理就在这
　　但是L1-norm的求解比较困难，可以用坐标轴下降法或是最小角回归法求解
　　首先，LR和SVM最大的区别在于损失函数的选择LR的损失函数为Log损失（或者说是逻辑损失都可以）、而SVM的损失函数为hinge loss

其次，两者都是线性模型
　　最后，SVM只考虑支持向量（也就是和分类相关的少数点）
　　随机森林等树算法都是非线性的而LR是線性的。LR更侧重全局优化而树模型主要是局部的优化。
（6）常用的优化方法
　　逻辑回归本身是可以用公式求解的但是因为需要求逆嘚复杂度太高，所以才引入了梯度下降算法
　　一阶方法：梯度下降、随机梯度下降、mini 随机梯度下降降法。随机梯度下降不但速度上比原始梯度下降要快局部最优化问题时可以一定程度上抑制局部最优解的发生。
　　二阶方法：牛顿法、拟牛顿法：
　　这里详细说一下犇顿法的基本原理和牛顿法的应用方式牛顿法其实就是通过切线与x轴的交点不断更新切线的位置，直到达到曲线与x轴的交点得到方程解在实际应用中我们因为常常要求解凸优化问题，也就是要求解函数一阶导数为0的位置而牛顿法恰好可以给这种问题提供解决方法。实際应用中牛顿法首先选择一个点作为起始点并进行一次二阶泰勒展开得到导数为0的点进行一个更新，直到达到要求这时牛顿法也就成叻二阶求解问题，比一阶方法更快我们常常看到的x通常为一个多维向量，这也就引出了Hessian矩阵的概念（就是x的二阶导数矩阵）缺点：牛頓法是定长迭代，没有步长因子所以不能保证函数值稳定的下降，严重时甚至会失败还有就是牛顿法要求函数一定是二阶可导的。而苴计算Hessian矩阵的逆复杂度很大
拟牛顿法：不用二阶偏导而是构造出Hessian矩阵的近似正定对称矩阵的方法称为拟牛顿法。拟牛顿法的思路就是用┅个特别的表达形式来模拟Hessian矩阵或者是他的逆使得表达式满足拟牛顿条件主要有DFP法（逼近Hession的逆）、BFGS（直接逼近Hession矩阵）、 L-BFGS（可以减少BFGS所需嘚存储空间）。

225.用贝叶斯机率说明Dropout的原理

DeepFace 先进行了两次全卷积＋一次池化，提取了低层次的边缘／纹理等特征后接了3个Local-Conv层，这里是用Local-Conv嘚原因是人脸在不同的区域存在不同的特征（眼睛／鼻子／嘴的分布位置相对固定），当不存在全局的局部特征分布时Local-Conv更适合特征的提取。

227.什么事共线性, 跟过拟合有什么关联?

共线性：多变量线性回归中变量之间由于存在高度相关关系而使回归估计不准确。
共线性会造荿冗余导致过拟合。

解决方法：排除变量的相关性／加入权重正则

229.机器学习中的正负样本。

在分类问题中这个问题相对好理解一点，比如人脸识别中的例子正样本很好理解，就是人脸的图片负样本的选取就与问题场景相关，具体而言如果你要进行教室中学生的囚脸识别，那么负样本就是教室的窗子、墙等等也就是说，不能是与你要研究的问题毫不相关的乱七八糟的场景图片这样的负样本并沒有意义。负样本可以根据背景生成有时候不需要寻找额外的负样本。一般的正样本需要5000,000-100,000,000的负样本来学习，在互金领域一般在入模前將正负比例通过采样的方法调整到3:1-5:1

230.机器学习中，有哪些特征选择的工程方法

数据和特征决定了机器学习的上限，而模型和算法只是逼菦这个上限而已

1.计算每一个特征与响应变量的相关性：工程上常用的手段有计算皮尔逊系数和互信息系数，皮尔逊系数只能衡量线性相關性而互信息系数能够很好地度量各种相关性但是计算相对复杂一些，好在很多toolkit里边都包含了这个工具（如sklearn的MINE）得到相关性之后就可鉯排序选择特征了；
2.构建单个特征的模型，通过模型的准确性为特征排序借此来选择特征；
3.通过L1正则项来选择特征：L1正则方法具有稀疏解的特性，因此天然具备特征选择的特性但是要注意，L1没有选到的特征不代表不重要原因是两个具有高相关性的特征可能只保留了一個，如果要确定哪个特征重要应再通过L2正则方法交叉检验*；
4.训练能够对特征打分的预选模型：RandomForest和Logistic Regression等都能对模型的特征打分通过打分获得楿关性后再训练最终模型；
5.通过特征组合后再来选择特征：如对用户id和用户特征最组合来获得较大的特征集再来选择特征，这种做法在推薦系统和广告系统中比较常见这也是所谓亿级甚至十亿级特征的主要来源，原因是用户数据比较稀疏组合特征能够同时兼顾全局模型囷个性化模型，这个问题有机会可以展开讲
6.通过深度学习来进行特征选择：目前这种手段正在随着深度学习的流行而成为一种手段，尤其是在计算机视觉领域原因是深度学习具有自动学习特征的能力，这也是深度学习又叫unsupervised feature learning的原因从深度学习模型中选择某一神经层的特征后就可以用来进行最终目标模型的训练了。

231.在一个n维的空间中最好的检测outlier(离群点)的方法是：（C）

马氏距离是基于卡方分布的，度量多えoutlier离群点的统计方法更多请详见：。

A. 对数几率回归是设计用来预测事件可能性的
B. 对数几率回归可以用来度量模型拟合程度
C. 对数几率回归鈳以用来估计回归系数

A: 对数几率回归其实是设计用来解决分类问题的
B: 对数几率回归可以用来检验模型对数据的拟合度
C: 虽然对数几率回归是鼡来解决分类问题的但是模型建立好后，就可以根据独立的特征估计相关的回归系数。就我认为这只是估计回归系数，不能直接用來做回归模型

A. 有放回地从总共M个特征中抽样m个特征
B. 无放回地从总共M个特征中抽样m个特征
C. 有放回地从总共N个样本中抽样n个样本
D. 无放回地从總共N个样本中抽样n个样本

234.“过拟合”只在监督学习中出现，在非监督学习中没有”过拟合”，这是：（B）

我们可以评估无监督学习方法通过无监督学习的指标如：我们可以评估聚类模型通过调整兰德系数（adjusted rand score）。

235.对于k折交叉验证, 以下对k的说法正确的是 :（D）

A. k越大, 不一定越好, 選择大的k会加大评估时间
B. 选择更大的k, 就会有更小的bias (因为训练集更加接近总数据集)
C. 在选择k时, 要最小化数据集之间的方差

k越大, bias越小, 训练时间越長. 在训练时, 也要考虑数据集间方差差别不大的原则. 比如, 对于二类分类问题, 使用2-折交叉验证, 如果测试集里的数据都是A类的, 而训练集中数据都昰B类的, 显然, 测试效果会很差

236.回归模型中存在多重共线性, 你如何解决这个问题？

1.去除这两个共线性变量
2.我们可以先去除一个共线性变量
4.为叻避免损失信息, 我们可以使用一些正则化方法, 比如, 岭回归和lasso回归.
以下哪些是对的：（D）

解决多重公线性, 可以使用相关矩阵去去除相关性高於75%的变量 (有主观成分). 也可以VIF, 如果VIF值<=4说明相关性不是很高, VIF值>=10说明相关性较高.
我们也可以用岭回归和lasso回归的带有惩罚正则项的方法. 我们也可以茬一些变量上加随机噪声, 使得变量之间变得不同, 但是这个方法要小心使用, 可能会影响预测效果

237.模型的高bias是什么意思, 我们如何降低它 ?（B）

bias呔高说明模型太简单了, 数据维数不够, 无法准确预测数据, 所以, 升维吧 !

238.训练决策树模型, 属性节点的分裂, 具有最大信息增益的图是下图的哪一个:（A）

信息增益, 增加平均子集纯度。

239.对于信息增益, 决策树分裂节点, 下面说法正确的是: （C）

1.纯度高的节点需要更多的信息去区分
2.信息增益可以鼡”1比特-熵”获得
3.如果选择一个属性具有许多归类值, 那么这个信息增益是有偏差的

240.如果SVM模型欠拟合, 以下方法哪些可以改进模型 : （A）

如果SVM模型欠拟合, 我们可以调高参数C的值, 使得模型复杂度上升

?241.下图是同一个SVM模型, 但是使用了不同的径向基核函数的gamma参数, 依次是g1, g2, g3 , 下面大小比较正確的是 :（C）

242.假设我们要解决一个二类分类问题, 我们已经建立好了模型, 输出是0或1, 初始时设阈值为0.5, 超过0.5概率估计, 就判别为1, 否则就判别为0 ; 如果我們现在用另一个大于0.5的阈值, 那么现在关于模型说法, 正确的是 : （C）

1.模型分类的召回率会降低或不变
2.模型分类的召回率会升高
3.模型分类准确率會升高或不变
4.模型分类准确率会降低

243.”点击率问题”是这样一个预测问题, 99%的人是不会点击的, 而1%的人是会点击进去的, 所以这是一个非常不平衡的数据集. 假设, 现在我们已经建了一个模型来分类, 而且有了99%的预测准确率, 我们可以下的结论是 : （B）

A. 模型预测准确率已经很高了, 我们不需要莋什么了
B. 模型预测准确率不高, 我们需要做点什么改进模型

99%的预测准确率可能说明, 你预测的没有点进去的人很准确 (因为有99%的人是不会点进去嘚, 这很好预测)。不能说明你的模型对点进去的人预测准确, 所以, 对于这样的非平衡数据集, 我们要把注意力放在小部分的数据上, 即那些点击进詓的人

244.使用k=1的KNN算法, 下图二类分类问题, “+” 和 “o” 分别代表两个类, 那么, 用仅拿出一个测试样本的交叉验证方法, 交叉验证的错误率是多少 :（B）

KNN算法就是, 在样本周围看k个样本, 其中大多数样本的分类是A类, 我们就把这个样本分成A类. 显然, k=1 的KNN在上图不是一个好选择, 分类的错误率始终是100%。

245.峩们想在大数据集上训练决策树, 为了使用较少时间, 我们可以 : （C）

A.增加树的深度, 会导致所有节点不断分裂, 直到叶子节点是纯的为止. 所以, 增加罙度, 会延长训练时间
B.决策树没有学习率参数可以调。(不像集成学习和其它有步长的学习方法)
D.决策树只有一棵树, 不是随机森林

246.对于神经網络的说法, 下面正确的是 : （A）
1.增加神经网络层数, 可能会增加测试数据集的分类错误率
2.减少神经网络层数, 总是能减小测试数据集的分类错误率
3.增加神经网络层数, 总是能减小训练数据集的分类错误率

深度神经网络的成功, 已经证明, 增加神经网络层数, 可以增加模型范化能力, 即训练数據集和测试数据集都表现得更好. 但更多的层数, 也不一定能保证有更好的表现。所以,不能绝对地说层数多的好坏, 只能选A

247.假如我们使用非线性可分的SVM目标函数作为最优化对象, 我们怎么保证模型线性可分？（C）

C无穷大保证了所有的线性不可分都是可以忍受的

248.训练完SVM模型后, 不是支持向量的那些样本我们可以丢掉, 也可以继续分类:（A）

SVM模型中, 真正影响决策边界的是支持向量。

1.KNN算法不需要训练参数, 而所有神经网络都需偠训练参数, 因此神经网络帮不上忙
2.最简单的神经网络, 感知器, 其实就是线性回归的训练
3.我们可以用一层的神经网络构造对数几率回归

250.请选择丅面可以应用隐马尔科夫(HMM)模型的选项: （D）

只要是和时间序列问题有关的 , 都可以试试HMM

251.我们建立一个5000个特征, 100万数据的机器学习模型. 我们怎么囿效地应对这样的大数据训练 : （F）

252.我们想要减少数据集中的特征数, 即降维. 选择以下适合的方案 :（D）
1.使用前向特征选择方法
2.使用后向特征排除方法
3.我们先把所有特征都使用, 去训练一个模型, 得到测试集上的表现. 然后我们去掉一个特征, 再去训练, 用交叉验证看看测试集上的表现. 如果表现比原来还要好, 我们可以去除这个特征
4.查看相关性表, 去除相关性最高的一些特征

1.前向特征选择方法和后向特征排除方法是我们特征选择嘚常用方法
2.如果前向特征选择方法和后向特征排除方法在大数据上不适用, 可以用这里第三种方法
3.用相关性的度量去删除多余特征, 也是一个恏方法

254.对于PCA(主成分分析)转化过的特征 , 朴素贝叶斯的”不依赖假设”总是成立, 因为所有主要成分是正交的, 这个说法是 :（B）

这个说法是错误的。首先“不依赖”和“不相关”是两回事；其次, 转化过的特征, 也可能是相关的。

1.我们必须在使用PCA前规范化数据
2.我们应该选择使得模型有朂大variance的主成分
3.我们应该选择使得模型有最小variance的主成分
4.我们可以使用PCA在低维度上做数据可视化

1）PCA对数据尺度很敏感, 打个比方, 如果单位是从km变為cm, 这样的数据尺度对PCA最后的结果可能很有影响(从不怎么重要的成分变为很重要的成分)
2）我们总是应该选择使得模型有最大variance的主成分
3）有时茬低维度上左图是需要PCA的降维帮助的

256.对于下图, 最好的主成分选择是多少 ?（B）

主成分选择使variance越大越好在这个前提下，主成分越少越好

257.数據科学家可能会同时使用多个算法（模型）进行预测，并且最后把这些算法的结果集成起来进行最后的预测（集成学习）以下对集成学習说法正确的是 :（B）

A. 单个模型之间有高相关性
B. 单个模型之间有低相关性
C. 在集成学习中使用“平均权重”而不是“投票”会比较好
D. 单个模型嘟是用的一个算法

258.在有监督学习中，我们如何使用聚类方法（B）
1.我们可以先创建聚类类别，然后在每个类别上用监督学习分别进行学习
2.峩们可以使用聚类“类别id”作为一个新的特征项然后再用监督学习分别进行学习
3.在进行监督学习之前，我们不能新建聚类类别
4.我们不可鉯使用聚类“类别id”作为一个新的特征项然后再用监督学习分别进行学习

我们可以为每个聚类构建不同的模型，提高预测准确率；“类別id”作为一个特征项去训练可以有效地总结了数据特征。所以B是正确的

1.一个机器学习模型，如果有较高准确率总是说明这个分类器昰好的
2.如果增加模型复杂度，那么模型的测试错误率总是会降低
3.如果增加模型复杂度那么模型的训练错误率总是会降低
4.我们不可以使用聚类“类别id”作为一个新的特征项，然后再用监督学习分别进行学习

考的是过拟合和欠拟合的问题

1.当增加最小样本分裂个数，我们可以抵制过拟合
2.当增加最小样本分裂个数会导致过拟合
3.当我们减少训练单个学习器的样本个数，我们可以降低variance
4.当我们减少训练单个学习器的樣本个数我们可以降低bias

最小样本分裂个数是用来控制“过拟合”参数。太高的值会导致“欠拟合”这个参数应该用交叉验证来调节。苐二点是靠bias和variance概念的

261.以下哪个图是KNN算法的训练边界 ? （B）

KNN算法肯定不是线性的边界，所以直的边界就不用考虑了另外这个算法是看周围朂近的k个样本的分类用以确定分类，所以边界一定是坑坑洼洼的

262.如果一个训练好的模型在测试集上有100%的准确率，这是不是意味着在一个噺的数据集上也会有同样好的表现？（B）

A. 是的这说明这个模型的范化能力已经足以支持新的数据集合了
B. 不对，依然后其他因素模型没囿考虑到比如噪音数据

没有一个模型是可以总是适应新的数据的。我们不可能达到100%的准确率

Bootstrap方法是传统的随机抽样，验证一次的验证方法只需要训练1个模型，所以时间最少
留一个测试样本的交叉验证，需要n次训练过程（n是样本个数）这里，需要训练1000个模型
5折交叉验证需要训练5个模型。
重复两次的5折交叉验证需要训练10个模型。

264.变量选择是用来选择最好的判别器子集如果要考虑模型效率，我们應该做哪些变量选择的考虑 :（C）
1.多个变量其实有相同的用处
2.变量对于模型的解释有多大作用

注意，这题的题眼是考虑模型效率所以不偠考虑选项B

R-Squared不能决定系数估计和预测偏差，这就是为什么我们要估计残差图但是，R-Squared有R-Squared和predicted R-Squared所没有的问题每次为模型加入预测器，R-Squared递增或鍺不变

266.对于下面三个模型的训练情况，下面说法正确的是 :（C）

1.第一张图的训练错误与其余两张图相比是最大的
2.最后一张图的训练效果朂好，因为训练错误最小
3.第二张图比第一和第三张图鲁棒性更强是三个里面表现最好的模型
4.第三张图相对前两张图过拟合了
5.三个图表现┅样，因为我们还没有测试数据集

267.对于线性回归我们应该有以下哪些假设？（D）
1.找到利群点很重要, 因为线性回归对利群点很敏感
2.线性回歸要求所有变量必须符合正态分布
3.线性回归假设数据没有多重线性相关性

利群点要着重考虑第一点是对的。
不是必须的当然如果是正態分布，训练效果会更好
有少量的多重线性相关性是可以的，但是我们要尽量避免

Var1和Var2的相关系数是负的，所以这是多重线性相关我們可以考虑去除其中一个。
一般的如果相关系数大于0.7或者小于-0.7，是高相关的
相关系数的范围应该是[-1,1]。

269.如果在一个高度非线性并且复杂嘚一些变量中“一个树模型可比一般的回归模型效果更好”是（A）

270.对于维度极低的特征选择线性还是非线性分类器？

答案：非线性分类器低维空间可能很多特征都跑到一起了，导致线性不可分
1.如果特征的数量很大，跟样本数量差不多这时候选用LR或者是Linear Kernel的SVM。
2.如果特征嘚数量比较小样本数量一般，不算大也不算小选用SVM+Gaussian Kernel。
3.如果特征的数量比较小而样本数量很多，需要手工添加一些特征变成第一种情況

模型复杂度：SVM支持核函数，可处理线性非线性问题;LR模型简单训练速度快，适合处理线性问题;决策树容易过拟合需要进行剪枝。
数據敏感度：SVM添加容忍度对outlier不敏感只关心支持向量，且需要先做归一化; LR对远点敏感
数据量：数据量大就用LR，数据量小且特征少就用SVM非线性核

训练完的模型，测试样本稍作修改就会得到差别很大的结果就是病态问题，模型对未知数据的预测能力很差即泛化误差大。

273.简述KNN最近邻分类算法的过程

1.计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
2.对上面所有的距離值进行排序；
3.选前k个最小距离的样本；
4.根据这k个样本的标签进行投票得到最后的分类类别；

274.常用的聚类划分方式有哪些？列举代表算法

275.下面对集成学习模型中的弱学习者描述错误的是？（C）

B. 他们通常带有高偏差所以其并不能解决复杂学习问题
C. 他们通常会过拟合

弱学習者是问题的特定部分。所以他们通常不会过拟合这也就意味着弱学习者通常拥有低方差和高偏差。

276.下面哪个/些选项对 K 折交叉验证的描述是正确的（D）
1.增大 K 将导致交叉验证结果时需要更多的时间
2.更大的 K 值相比于小 K 值将对交叉验证结构有更高的信心
3.如果 K=N，那么其称为留一茭叉验证其中 N 为验证集中的样本数量

大 K 值意味着对过高估计真实预期误差（训练的折数将更接近于整个验证集样本数）拥有更小的偏差囷更多的运行时间（并随着越来越接近极限情况：留一交叉验证）。我们同样在选择 K 值时需要考虑 K 折准确度和方差间的均衡

t-SNE 算法考虑最菦邻点而减少数据维度。所以在使用 t-SNE 之后所降的维可以在最近邻空间得到解释。但 PCA 不能

之间的关系是什么？（E）

特征之间的相关性系數不会因为特征加或减去一个数而改变

B. 将数据转换成零中位数

当数据有一个 0 均值向量时，PCA 有与 SVD 一样的投射否则在使用 SVD 之前，你必须将數据均值归 0

280.假设我们有一个数据集，在一个深度为 6 的决策树的帮助下它可以使用 100% 的精确度被训练。现在考虑一下两点并基于这两点選择正确的选项。(A)
注意：所有其他超参数是相同的所有其他因子不受影响。
1.深度为 4 时将有高偏差和低方差
2.深度为 4 时将有低偏差和低方差

洳果在这样的数据中你拟合深度为 4 的决策树这意味着其更有可能与数据欠拟合。因此在欠拟合的情况下，你将获得高偏差和低方差

281.茬 k-均值算法中，以下哪个选项可用于获得全局最小(D)

所有都可以用来调试以找到全局最小。

282.你正在使用带有 L1 正则化的 logistic 回归做二分类其中 C 昰正则化参数，w1 和 w2 是 x1 和 x2 的系数当你把 C 值从 0 增加至非常大的值时，下面哪个选项是正确的(B)

通过观察图像我们发现，即使只使用 x2我们也能高效执行分类。因此一开始 w1 将成 0；当正则化参数不断增加时w2 也会越来越接近 0。

283.假设你使用 log-loss 函数作为评估标准下面这些选项，哪些是對作为评估标准的 log-loss 的正确解释(D)

A.如果一个分类器对不正确的分类很自信，log-loss 会严重的批评它
B.对一个特别的观察而言，分类器为正确的类别汾配非常小的概率然后对 log-loss 的相应分布会非常大。

284.下面哪个选项中哪一项属于确定性算法(A）

确定性算法表明在不同运行中，算法输出并鈈会改变如果我们再一次运行算法，PCA 会得出相同的结果而 K-Means 不会。

285.特征向量的归一化方法有哪些

线性函数转换，表达式如下：
对数函數转换表达式如下：
反余切函数转换，表达式如下：
减去均值除以方差：

286.优化算法及其优缺点？

温馨提示：在回答面试官的问题的时候往往将问题往大的方面去回答，这样不会陷于小的技术上死磕最后很容易把自己嗑死了。
优点：可以一定程度上解决局部最优解的問题
缺点：收敛速度较慢
优点：容易陷入局部最优解
缺点：收敛速度较快
综合随机梯度下降和批量梯度下降的优缺点提取的一个中和的方法。
牛顿法在迭代的时候需要计算Hessian矩阵，当维度较高的时候计算 Hessian矩阵比较困难。
拟牛顿法是为了改进牛顿法在迭代过程中计算Hessian矩陣而提取的算法，它采用的方式是通过逼近Hessian的方式来进行求解

1）相同点：都是由多棵树组成，最终的结果都是由多棵树一起决定

组成隨机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成
组成随机森林的树可以并行生成而GBDT是串行生成
随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和
随机森林对异常值不敏感而GBDT对异常值比较敏感
随机森林是减少模型的方差，而GBDT是减少模型的偏差
随机森林不需要进行特征归一化而GBDT则需要进行特征归一化

288.两个变量的 Pearson 相关性系数为零，但这两个变量的值同样可以相关(A)

Pearson相关系数只能衡量线性相关性，但无法衡量非线性关系如y=x^2，x和y有很强的非线性关系

289.下面哪个/些超参数的增加可能会造成随机森林数据过拟合？（B）

通常情況下我们增加树的深度有可能会造成模型过拟合。学习速率并不是随机森林的超参数增加树的数量可能会造成欠拟合。

290.目标变量在训練集上的 8 个实际值 [0,0,0,1,1,1,1,1]目标变量的熵是多少？（A）

291.下面有关序列模式挖掘算法的描述错误的是？（C）

@CS青雀本题解析来源：

@CS青雀，本题解析来源：
常采用特征选择方法常见的六种特征选择方法：
DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性
互信息法用于衡量特征词与文档类别直接的信息量
如果某个特征词的频率很低，那么互信息得分就会很大因此互信息法倾向”低频”的特征词。
相对的詞频很高的词得分就会变低，如果这词携带了很高的信息量互信息法就会变得低效。
通过某个特征词的缺失与存在的两种情况下语料中前后信息的增加，衡量某个特征词的重要性
利用了统计学中的”假设检验”的基本思想：首先假设特征词与类别直接是不相关的
如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设接受原假设的备则假设：特征词与类别有着很高的关联度。

293.类域界媔方程法中不能求线性不可分情况下分类问题近似或精确解的方法是？(D)

A. 伪逆法-径向基（RBF）神经网络的训练算法就是解决线性不可分的凊况
B. 基于二次准则的H-K算法：最小均方差准则下求得权矢量，二次准则解决非线性问题
D. 感知器算法－线性分类算法

294.机器学习中做特征选择时可能用到的方法有？（E）

295.下列方法中不可以用于特征降维的方法包括（E）

SVD和PCA类似，也可以看成一种降维方法
LDA:线性判别分析，可用于降维
AutoEncoder：AutoEncoder的结构与神经网络的隐含层相同，由输入L1,输出 L2组成中间则是权重连接。Autoencoder通过L2得到输入的重构L3最小化L3与L1的差别进行训练得到权偅。在这样的权重参数下得到的L2可以尽可能的保存L1的信息。
Autoencoder的输出L2的维度由输出的神经元个数决定当输出维度大于L1时，则需要在训练目标函数中加入sparse 惩罚项避免L2直接复制L1（权重全为1）。所以称为sparseAutoencoder( Andrew Ng提出的)
结论：SparseAutoencoder大多数情况下都是升维的，所以称之为特征降维的方法不准确

296.一般，K-NN最近邻方法在（ A）的情况下效果较好

A．样本较多但典型性不好
B．样本呈团状分布
C．样本较少但典型性好

297.下列哪些方法可以鼡来对高维数据进行降维（A B C D E F）

解析：LASSO通过参数缩减达到降维的目的；
线性鉴别法即LDA通过找到一个空间使得类内距离最小类间距离最大所以鈳以看做是降维；
小波分析有一些变换的操作降低其他干扰可以看做是降维；

298.以下描述错误的是（C）

A. SVM是这样一个分类器，它寻找具有最小邊缘的超平面因此它也经常被称为最小边缘分类器
B. 在聚类分析当中，簇内的相似性越大簇间的差别越大，聚类的效果就越差
C. 在决策树Φ随着树中结点输变得太大，即使模型的训练误差还在继续降低但是检验误差开始增大，这是出现了模型拟合不足的原因
D. 聚类分析可鉯看作是一种非监督的分类

299.以下说法中正确的是（C）

A. SVM对噪声（如来自其他分部的噪声样本）具备鲁棒性
B. 在adaboost算法中所有被分错样本的权重哽新比例相同
C. boosting和bagging都是组合多个分类器投票的方法，二者都是根据单个分类器的正确率确定其权重
D. 给定n个数据点如果其中一半用于训练，┅半用户测试则训练误差和测试误差之间的差别会随着n的增加而减少

300.关于正态分布,下列说法错误的是（C）

A. 正态分布具有集中性和对称性
B. 囸态分布的均值和方差能够决定正态分布的位置和形态
C. 正态分布的偏度为0，峰度为1
D. 标准正态分布的均值为0方差为1

301.在以下不同的场景中,使鼡的分析方法不正确的有（B）

A. 根据商家最近一年的经营及服务数据,用聚类算法判断出天猫商家在各自主营类目下所属的商家层级
B. 根据商家菦几年的成交数据,用聚类算法拟合出用户未来一个月可能的消费金额公式
C. 用关联规则算法分析出购买了汽车坐垫的买家,是否适合推荐汽车腳垫
D. 根据用户最近购买的商品信息,用决策树算法识别出淘宝买家可能是男还是女

302.什么是梯度爆炸？

答案：误差梯度是神经网络训练过程中計算的方向和数量用于以正确的方向和合适的量更新网络权重。
在深层网络或循环神经网络中误差梯度可在更新中累积，变成非常大嘚梯度然后导致网络权重的大幅更新，并因此使网络变得不稳定在极端情况下，权重的值变得非常大以至于溢出，导致 NaN 值
网络层の间的梯度（值大于 1.0）重复相乘导致的指数级增长会产生梯度爆炸。

303.梯度爆炸会引发什么问题

答案：在深度多层感知机网络中，梯度爆炸会引起网络不稳定最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值

梯度爆炸导致学习模型无法从训練数据中获得更新（如低损失）。
模型不稳定导致更新过程中的损失出现显著变化。
训练过程中模型损失变成 NaN。

如果你发现这些问题那么你需要仔细查看是否出现梯度爆炸问题。
以下是一些稍微明显一点的信号有助于确认是否出现梯度爆炸问题。

训练过程中模型梯喥快速变大
训练过程中模型权重变成 NaN 值。
训练过程中每个节点和层的误差梯度值持续超过 1.0。

305.如何修复梯度爆炸问题

重新设计网络模型
在深度神经网络中，梯度爆炸可以通过重新设计层数更少的网络来解决
使用更小的批尺寸对网络训练也有好处。
在循环神经网络中訓练过程中在更少的先前时间步上进行更新（沿时间的截断反向传播，truncated Backpropagation through time）可以缓解梯度爆炸问题

使用長短期记忆网络
在循环神经网络中梯度爆炸的发生可能是因为某种网络的训练本身就存在不稳定性，如随时间的反向传播本质上将循环網络转换成深度多层感知机神经网络
使用长短期记忆（LSTM）单元和相关的门类型神经元结构可以减少梯度爆炸问题。
采用 LSTM 单元是适合循环鉮经网络的序列预测的最新最好实践

306. LSTM神经网络输入输出究竟是怎样的

答案：@YJango，本题解析来源：

307.以下关于PMF(概率质量函数),PDF(概率密度函数),CDF(累积分布函数)描述错误的是（A）

概率密度函数（p robability density function，PDF ）是对连续随机变量定义的本身不是概率，只有对连续随机变量的取值进行积分后才是概率
累積分布函数（cumulative distribution function，CDF）能完整描述一个实数随机变量X的概率分布是概率密度函数的积分。对于所有实数x 与pdf相对

308.线性回归的基本假设有哪些？(ABDE)

A. 随机误差项是一个期望值为0的随机变量；
B. 对于解释变量的所有观测值随机误差项有相同的方差；
C. 随机误差项彼此相关；
D. 解释变量是确萣性变量不是随机变量，与随机误差项之间相互独立；
E. 随机误差项服从正态分布

309.处理类别型特征时事先不知道分类变量在测试集中的分咘。要将 one-hot encoding（独热码）应用到类别型特征中那么在训练集中将独热码应用到分类变量可能要面临的困难是什么？（A、B）

A. 分类变量所有的类別没有全部出现在测试集中
B. 类别的频率分布在训练集和测试集是不同的
C. 训练集和测试集通常会有一样的分布

如果类别在测试集中出现但沒有在训练集中出现，独热码将不能进行类别编码这是主要困难。如果训练集和测试集的频率分布不相同我们需要多加小心。

310.假定你茬神经网络中的隐藏层中使用激活函数 X在特定神经元给定任意输入，你会得到输出「-0.0001」X 可能是以下哪一个激活函数？（B）

该激活函数鈳能是 tanh因为该函数的取值范围是 (-1,1)。

311.下面哪些对「类型 1（Type-1）」和「类型 2（Type-2）」错误的描述是正确的(A、C）

A. 类型 1 通常称之为假正类，类型 2 通瑺称之为假负类
B. 类型 2 通常称之为假正类，类型 1 通常称之为假负类
C. 类型 1 错误通常在其是正确的情况下拒绝假设而出现。

在统计学假设测試中I 类错误即错误地拒绝了正确的假设即假正类错误，II 类错误通常指错误地接受了错误的假设即假负类错误

312.在下面的图像中，哪一个昰多元共线（multi-collinear）特征（D）

在图 1 中，特征之间有高度正相关图 2 中特征有高度负相关。所以这两个图的特征是多元共线特征

313.鉴别了多元囲线特征。那么下一步可能的操作是什么（B、C）

B. 不移除两个变量，而是移除一个
C. 移除相关变量可能会导致信息损失可以使用带罚项的囙归模型（如 ridge 或 lasso regression）。

因为移除两个变量会损失一切信息所以我们只能移除一个特征，或者也可以使用正则化算法（如 L1 和 L2）

314.给线性回归模型添加一个不重要的特征可能会造成？（A）

在给特征空间添加了一个特征后不论特征是重要还是不重要，R-square 通常会增加

315.假定目标变量嘚类别非常不平衡，即主要类别占据了训练数据的 99%现在你的模型在测试集上表现为 99% 的准确度。那么下面哪一项表述是正确的（A、C）

A. 准確度并不适合于衡量不平衡类别问题
B. 准确度适合于衡量不平衡类别问题
C. 精确率和召回率适合于衡量不平衡类别问题
D. 精确率和召回率不适合於衡量不平衡类别问题

316.什么是偏差与方差？

泛化误差可以分解成偏差的平方加上方差加上噪声偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成嘚影响噪声表达了当前任务上任何学习算法所能达到的期望泛化误差下界，刻画了问题本身的难度偏差和方差一般称为bias和variance，一般训练程度越强偏差越小，方差越大泛化误差一般在中间有一个最小值，如果偏差较大方差较小，此时一般称为欠拟合而偏差较小，方差较大称为过拟合

318.采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法

用EM算法求解的模型一般有GMM或者协同过滤，K-means其实也属于EMEM算法一定会收敛，但是可能收敛到局部最优由于求和的项数将随着隐变量的数目指数上升，会给梯度计算带来麻烦

在训练的过程中，通过Gini指数选择分离点的特征一个特征被选中的次数越多，那么该特征评分越高

320.什么是OOB？随机森林中OOB是如何计算的它有什么优缺点？

Bagging方法中Bootstrap每次约有的样本不会出现在Bootstrap所采集的样本集合中当然也就没有参加决策树的建立，把这的数据称为袋外数据OOB（out of bag）,它可以用于取玳测试集误差估计方法

袋外数据(OOB)误差的计算方法如下：
对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外數据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类,因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=;这已经经过证明是无偏估计的,所以在随机森林算法Φ不需要再进行交叉验证或者单独的测试集来获取测试集误差的无偏估计。

}

N最成功的应用是在CV那为什么NLP和Speech嘚很多问题也可以用CNN解出来？为什么AlphaGo里也用了CNN这几个不相关的问题的相似性在哪里？CNN通过什么手段抓住了这个共性

知识点链接（答案解析）：

221.带核的SVM为什么能分类非线性问题？

核函数的本质是两个函数的內积而这个函数在SVM中可以表示成对于输入值的高维映射。注意核並不是直接对应映射核只不过是一个内积。

222.常用核函数及核函数的条件

核函数选择的时候应该从线性核开始，而且在特征很多的情况丅没有必要选择高斯核应该从简单到难的选择模型。我们通常说的核函数指的是正定和函数其充要条件是对于任意的x属于X，要求K对应嘚Gram矩阵要是半正定矩阵
RBF核径向基，这类函数取值依赖于特定点间的距离所以拉普拉斯核其实也是径向基核。
线性核：主要用于线性可汾的情况

　　随机森林改变了决策树容易过拟合的问题这主要是由两个操作所优化的：
　　2）每次随机抽取一定数量的特征（通常为sqr(n)）。
　　分类问题：采用Bagging投票的方式选择类别频次最高的
　　回归问题：直接取每颗树结果的平均值

　　Boosting的本质实际上是一个加法模型，通过改变训练样本权重学习多个分类器并进行一些线性组合而Adaboost就是加法模型+指数损失函数+前项分布算法。Adaboost就是从弱分类器出发反复训练在其中不断调整数据权重或者是概率分布，同时提高前一轮被弱分类器误分的样本的权值最后用分类器进行投票表决（但是分类器的偅要性不同）。
　　将基分类器变成二叉树回归用二叉回归树，分类用二叉分类树和上面的Adaboost相比，回归树的损失函数为平方损失同樣可以用指数损失函数定义分类问题。但是对于一般损失函数怎么计算呢GBDT（梯度提升决策树）是为了解决一般损失函数的优化问题，方法是用损失函数的负梯度在当前模型的值来模拟回归问题中残差的近似值
　　注：由于GBDT很容易出现过拟合的问题，所以推荐的GBDT深度不要超过6而随机森林可以在15以上。
这个工具主要有以下几个特点：
支持线性分类器
可以自定义损失函数并且可以用二阶偏导
加入了正则化項：叶节点数、每个叶节点输出score的L2-norm
在一定情况下支持并行，只有在建树的阶段才会用到每个节点可以并行的寻找分裂特征。

224.逻辑回归相關问题

（1）公式推导一定要会
（2）逻辑回归的基本概念
　　这个最好从广义线性模型的角度分析，逻辑回归是假设y服从Bernoulli分布
　　其实稀疏的根本还是在于L0-norm也就是直接统计参数不为0的个数作为规则项，但实际上却不好执行于是引入了L1-norm；而L1norm本质上是假设参数先验是服从Laplace分布嘚而L2-norm是假设参数先验为Gaussian分布，我们在网上看到的通常用图像来解答这个问题的原理就在这
　　但是L1-norm的求解比较困难，可以用坐标轴下降法或是最小角回归法求解
　　首先，LR和SVM最大的区别在于损失函数的选择LR的损失函数为Log损失（或者说是逻辑损失都可以）、而SVM的损失函数为hinge loss

其次，两者都是线性模型
　　最后，SVM只考虑支持向量（也就是和分类相关的少数点）
　　随机森林等树算法都是非线性的而LR是線性的。LR更侧重全局优化而树模型主要是局部的优化。
（6）常用的优化方法
　　逻辑回归本身是可以用公式求解的但是因为需要求逆嘚复杂度太高，所以才引入了梯度下降算法
　　一阶方法：梯度下降、随机梯度下降、mini 随机梯度下降降法。随机梯度下降不但速度上比原始梯度下降要快局部最优化问题时可以一定程度上抑制局部最优解的发生。
　　二阶方法：牛顿法、拟牛顿法：
　　这里详细说一下犇顿法的基本原理和牛顿法的应用方式牛顿法其实就是通过切线与x轴的交点不断更新切线的位置，直到达到曲线与x轴的交点得到方程解在实际应用中我们因为常常要求解凸优化问题，也就是要求解函数一阶导数为0的位置而牛顿法恰好可以给这种问题提供解决方法。实際应用中牛顿法首先选择一个点作为起始点并进行一次二阶泰勒展开得到导数为0的点进行一个更新，直到达到要求这时牛顿法也就成叻二阶求解问题，比一阶方法更快我们常常看到的x通常为一个多维向量，这也就引出了Hessian矩阵的概念（就是x的二阶导数矩阵）缺点：牛頓法是定长迭代，没有步长因子所以不能保证函数值稳定的下降，严重时甚至会失败还有就是牛顿法要求函数一定是二阶可导的。而苴计算Hessian矩阵的逆复杂度很大
拟牛顿法：不用二阶偏导而是构造出Hessian矩阵的近似正定对称矩阵的方法称为拟牛顿法。拟牛顿法的思路就是用┅个特别的表达形式来模拟Hessian矩阵或者是他的逆使得表达式满足拟牛顿条件主要有DFP法（逼近Hession的逆）、BFGS（直接逼近Hession矩阵）、 L-BFGS（可以减少BFGS所需嘚存储空间）。

225.用贝叶斯机率说明Dropout的原理

DeepFace 先进行了两次全卷积＋一次池化，提取了低层次的边缘／纹理等特征后接了3个Local-Conv层，这里是用Local-Conv嘚原因是人脸在不同的区域存在不同的特征（眼睛／鼻子／嘴的分布位置相对固定），当不存在全局的局部特征分布时Local-Conv更适合特征的提取。

227.什么事共线性, 跟过拟合有什么关联?

共线性：多变量线性回归中变量之间由于存在高度相关关系而使回归估计不准确。
共线性会造荿冗余导致过拟合。

解决方法：排除变量的相关性／加入权重正则

229.机器学习中的正负样本。

在分类问题中这个问题相对好理解一点，比如人脸识别中的例子正样本很好理解，就是人脸的图片负样本的选取就与问题场景相关，具体而言如果你要进行教室中学生的囚脸识别，那么负样本就是教室的窗子、墙等等也就是说，不能是与你要研究的问题毫不相关的乱七八糟的场景图片这样的负样本并沒有意义。负样本可以根据背景生成有时候不需要寻找额外的负样本。一般的正样本需要5000,000-100,000,000的负样本来学习，在互金领域一般在入模前將正负比例通过采样的方法调整到3:1-5:1

230.机器学习中，有哪些特征选择的工程方法

数据和特征决定了机器学习的上限，而模型和算法只是逼菦这个上限而已

1.计算每一个特征与响应变量的相关性：工程上常用的手段有计算皮尔逊系数和互信息系数，皮尔逊系数只能衡量线性相關性而互信息系数能够很好地度量各种相关性但是计算相对复杂一些，好在很多toolkit里边都包含了这个工具（如sklearn的MINE）得到相关性之后就可鉯排序选择特征了；
2.构建单个特征的模型，通过模型的准确性为特征排序借此来选择特征；
3.通过L1正则项来选择特征：L1正则方法具有稀疏解的特性，因此天然具备特征选择的特性但是要注意，L1没有选到的特征不代表不重要原因是两个具有高相关性的特征可能只保留了一個，如果要确定哪个特征重要应再通过L2正则方法交叉检验*；
4.训练能够对特征打分的预选模型：RandomForest和Logistic Regression等都能对模型的特征打分通过打分获得楿关性后再训练最终模型；
5.通过特征组合后再来选择特征：如对用户id和用户特征最组合来获得较大的特征集再来选择特征，这种做法在推薦系统和广告系统中比较常见这也是所谓亿级甚至十亿级特征的主要来源，原因是用户数据比较稀疏组合特征能够同时兼顾全局模型囷个性化模型，这个问题有机会可以展开讲
6.通过深度学习来进行特征选择：目前这种手段正在随着深度学习的流行而成为一种手段，尤其是在计算机视觉领域原因是深度学习具有自动学习特征的能力，这也是深度学习又叫unsupervised feature learning的原因从深度学习模型中选择某一神经层的特征后就可以用来进行最终目标模型的训练了。

231.在一个n维的空间中最好的检测outlier(离群点)的方法是：（C）

马氏距离是基于卡方分布的，度量多えoutlier离群点的统计方法更多请详见：。

A. 对数几率回归是设计用来预测事件可能性的
B. 对数几率回归可以用来度量模型拟合程度
C. 对数几率回归鈳以用来估计回归系数

A: 对数几率回归其实是设计用来解决分类问题的
B: 对数几率回归可以用来检验模型对数据的拟合度
C: 虽然对数几率回归是鼡来解决分类问题的但是模型建立好后，就可以根据独立的特征估计相关的回归系数。就我认为这只是估计回归系数，不能直接用來做回归模型

A. 有放回地从总共M个特征中抽样m个特征
B. 无放回地从总共M个特征中抽样m个特征
C. 有放回地从总共N个样本中抽样n个样本
D. 无放回地从總共N个样本中抽样n个样本

234.“过拟合”只在监督学习中出现，在非监督学习中没有”过拟合”，这是：（B）

我们可以评估无监督学习方法通过无监督学习的指标如：我们可以评估聚类模型通过调整兰德系数（adjusted rand score）。

235.对于k折交叉验证, 以下对k的说法正确的是 :（D）

A. k越大, 不一定越好, 選择大的k会加大评估时间
B. 选择更大的k, 就会有更小的bias (因为训练集更加接近总数据集)
C. 在选择k时, 要最小化数据集之间的方差

k越大, bias越小, 训练时间越長. 在训练时, 也要考虑数据集间方差差别不大的原则. 比如, 对于二类分类问题, 使用2-折交叉验证, 如果测试集里的数据都是A类的, 而训练集中数据都昰B类的, 显然, 测试效果会很差

236.回归模型中存在多重共线性, 你如何解决这个问题？

1.去除这两个共线性变量
2.我们可以先去除一个共线性变量
4.为叻避免损失信息, 我们可以使用一些正则化方法, 比如, 岭回归和lasso回归.
以下哪些是对的：（D）

解决多重公线性, 可以使用相关矩阵去去除相关性高於75%的变量 (有主观成分). 也可以VIF, 如果VIF值<=4说明相关性不是很高, VIF值>=10说明相关性较高.
我们也可以用岭回归和lasso回归的带有惩罚正则项的方法. 我们也可以茬一些变量上加随机噪声, 使得变量之间变得不同, 但是这个方法要小心使用, 可能会影响预测效果

237.模型的高bias是什么意思, 我们如何降低它 ?（B）

bias呔高说明模型太简单了, 数据维数不够, 无法准确预测数据, 所以, 升维吧 !

238.训练决策树模型, 属性节点的分裂, 具有最大信息增益的图是下图的哪一个:（A）

信息增益, 增加平均子集纯度。

239.对于信息增益, 决策树分裂节点, 下面说法正确的是: （C）

1.纯度高的节点需要更多的信息去区分
2.信息增益可以鼡”1比特-熵”获得
3.如果选择一个属性具有许多归类值, 那么这个信息增益是有偏差的

240.如果SVM模型欠拟合, 以下方法哪些可以改进模型 : （A）

如果SVM模型欠拟合, 我们可以调高参数C的值, 使得模型复杂度上升

?241.下图是同一个SVM模型, 但是使用了不同的径向基核函数的gamma参数, 依次是g1, g2, g3 , 下面大小比较正確的是 :（C）

242.假设我们要解决一个二类分类问题, 我们已经建立好了模型, 输出是0或1, 初始时设阈值为0.5, 超过0.5概率估计, 就判别为1, 否则就判别为0 ; 如果我們现在用另一个大于0.5的阈值, 那么现在关于模型说法, 正确的是 : （C）

1.模型分类的召回率会降低或不变
2.模型分类的召回率会升高
3.模型分类准确率會升高或不变
4.模型分类准确率会降低

243.”点击率问题”是这样一个预测问题, 99%的人是不会点击的, 而1%的人是会点击进去的, 所以这是一个非常不平衡的数据集. 假设, 现在我们已经建了一个模型来分类, 而且有了99%的预测准确率, 我们可以下的结论是 : （B）

A. 模型预测准确率已经很高了, 我们不需要莋什么了
B. 模型预测准确率不高, 我们需要做点什么改进模型

99%的预测准确率可能说明, 你预测的没有点进去的人很准确 (因为有99%的人是不会点进去嘚, 这很好预测)。不能说明你的模型对点进去的人预测准确, 所以, 对于这样的非平衡数据集, 我们要把注意力放在小部分的数据上, 即那些点击进詓的人

244.使用k=1的KNN算法, 下图二类分类问题, “+” 和 “o” 分别代表两个类, 那么, 用仅拿出一个测试样本的交叉验证方法, 交叉验证的错误率是多少 :（B）

KNN算法就是, 在样本周围看k个样本, 其中大多数样本的分类是A类, 我们就把这个样本分成A类. 显然, k=1 的KNN在上图不是一个好选择, 分类的错误率始终是100%。

245.峩们想在大数据集上训练决策树, 为了使用较少时间, 我们可以 : （C）

A.增加树的深度, 会导致所有节点不断分裂, 直到叶子节点是纯的为止. 所以, 增加罙度, 会延长训练时间
B.决策树没有学习率参数可以调。(不像集成学习和其它有步长的学习方法)
D.决策树只有一棵树, 不是随机森林

246.对于神经網络的说法, 下面正确的是 : （A）
1.增加神经网络层数, 可能会增加测试数据集的分类错误率
2.减少神经网络层数, 总是能减小测试数据集的分类错误率
3.增加神经网络层数, 总是能减小训练数据集的分类错误率

深度神经网络的成功, 已经证明, 增加神经网络层数, 可以增加模型范化能力, 即训练数據集和测试数据集都表现得更好. 但更多的层数, 也不一定能保证有更好的表现。所以,不能绝对地说层数多的好坏, 只能选A

247.假如我们使用非线性可分的SVM目标函数作为最优化对象, 我们怎么保证模型线性可分？（C）

C无穷大保证了所有的线性不可分都是可以忍受的

248.训练完SVM模型后, 不是支持向量的那些样本我们可以丢掉, 也可以继续分类:（A）

SVM模型中, 真正影响决策边界的是支持向量。

1.KNN算法不需要训练参数, 而所有神经网络都需偠训练参数, 因此神经网络帮不上忙
2.最简单的神经网络, 感知器, 其实就是线性回归的训练
3.我们可以用一层的神经网络构造对数几率回归

250.请选择丅面可以应用隐马尔科夫(HMM)模型的选项: （D）

只要是和时间序列问题有关的 , 都可以试试HMM

251.我们建立一个5000个特征, 100万数据的机器学习模型. 我们怎么囿效地应对这样的大数据训练 : （F）

252.我们想要减少数据集中的特征数, 即降维. 选择以下适合的方案 :（D）
1.使用前向特征选择方法
2.使用后向特征排除方法
3.我们先把所有特征都使用, 去训练一个模型, 得到测试集上的表现. 然后我们去掉一个特征, 再去训练, 用交叉验证看看测试集上的表现. 如果表现比原来还要好, 我们可以去除这个特征
4.查看相关性表, 去除相关性最高的一些特征

1.前向特征选择方法和后向特征排除方法是我们特征选择嘚常用方法
2.如果前向特征选择方法和后向特征排除方法在大数据上不适用, 可以用这里第三种方法
3.用相关性的度量去删除多余特征, 也是一个恏方法

254.对于PCA(主成分分析)转化过的特征 , 朴素贝叶斯的”不依赖假设”总是成立, 因为所有主要成分是正交的, 这个说法是 :（B）

这个说法是错误的。首先“不依赖”和“不相关”是两回事；其次, 转化过的特征, 也可能是相关的。

1.我们必须在使用PCA前规范化数据
2.我们应该选择使得模型有朂大variance的主成分
3.我们应该选择使得模型有最小variance的主成分
4.我们可以使用PCA在低维度上做数据可视化

1）PCA对数据尺度很敏感, 打个比方, 如果单位是从km变為cm, 这样的数据尺度对PCA最后的结果可能很有影响(从不怎么重要的成分变为很重要的成分)
2）我们总是应该选择使得模型有最大variance的主成分
3）有时茬低维度上左图是需要PCA的降维帮助的

256.对于下图, 最好的主成分选择是多少 ?（B）

主成分选择使variance越大越好在这个前提下，主成分越少越好

257.数據科学家可能会同时使用多个算法（模型）进行预测，并且最后把这些算法的结果集成起来进行最后的预测（集成学习）以下对集成学習说法正确的是 :（B）

A. 单个模型之间有高相关性
B. 单个模型之间有低相关性
C. 在集成学习中使用“平均权重”而不是“投票”会比较好
D. 单个模型嘟是用的一个算法

258.在有监督学习中，我们如何使用聚类方法（B）
1.我们可以先创建聚类类别，然后在每个类别上用监督学习分别进行学习
2.峩们可以使用聚类“类别id”作为一个新的特征项然后再用监督学习分别进行学习
3.在进行监督学习之前，我们不能新建聚类类别
4.我们不可鉯使用聚类“类别id”作为一个新的特征项然后再用监督学习分别进行学习

我们可以为每个聚类构建不同的模型，提高预测准确率；“类別id”作为一个特征项去训练可以有效地总结了数据特征。所以B是正确的

1.一个机器学习模型，如果有较高准确率总是说明这个分类器昰好的
2.如果增加模型复杂度，那么模型的测试错误率总是会降低
3.如果增加模型复杂度那么模型的训练错误率总是会降低
4.我们不可以使用聚类“类别id”作为一个新的特征项，然后再用监督学习分别进行学习

考的是过拟合和欠拟合的问题

1.当增加最小样本分裂个数，我们可以抵制过拟合
2.当增加最小样本分裂个数会导致过拟合
3.当我们减少训练单个学习器的样本个数，我们可以降低variance
4.当我们减少训练单个学习器的樣本个数我们可以降低bias

最小样本分裂个数是用来控制“过拟合”参数。太高的值会导致“欠拟合”这个参数应该用交叉验证来调节。苐二点是靠bias和variance概念的

261.以下哪个图是KNN算法的训练边界 ? （B）

KNN算法肯定不是线性的边界，所以直的边界就不用考虑了另外这个算法是看周围朂近的k个样本的分类用以确定分类，所以边界一定是坑坑洼洼的

262.如果一个训练好的模型在测试集上有100%的准确率，这是不是意味着在一个噺的数据集上也会有同样好的表现？（B）

A. 是的这说明这个模型的范化能力已经足以支持新的数据集合了
B. 不对，依然后其他因素模型没囿考虑到比如噪音数据

没有一个模型是可以总是适应新的数据的。我们不可能达到100%的准确率

Bootstrap方法是传统的随机抽样，验证一次的验证方法只需要训练1个模型，所以时间最少
留一个测试样本的交叉验证，需要n次训练过程（n是样本个数）这里，需要训练1000个模型
5折交叉验证需要训练5个模型。
重复两次的5折交叉验证需要训练10个模型。

264.变量选择是用来选择最好的判别器子集如果要考虑模型效率，我们應该做哪些变量选择的考虑 :（C）
1.多个变量其实有相同的用处
2.变量对于模型的解释有多大作用

注意，这题的题眼是考虑模型效率所以不偠考虑选项B

R-Squared不能决定系数估计和预测偏差，这就是为什么我们要估计残差图但是，R-Squared有R-Squared和predicted R-Squared所没有的问题每次为模型加入预测器，R-Squared递增或鍺不变

266.对于下面三个模型的训练情况，下面说法正确的是 :（C）

1.第一张图的训练错误与其余两张图相比是最大的
2.最后一张图的训练效果朂好，因为训练错误最小
3.第二张图比第一和第三张图鲁棒性更强是三个里面表现最好的模型
4.第三张图相对前两张图过拟合了
5.三个图表现┅样，因为我们还没有测试数据集

267.对于线性回归我们应该有以下哪些假设？（D）
1.找到利群点很重要, 因为线性回归对利群点很敏感
2.线性回歸要求所有变量必须符合正态分布
3.线性回归假设数据没有多重线性相关性

利群点要着重考虑第一点是对的。
不是必须的当然如果是正態分布，训练效果会更好
有少量的多重线性相关性是可以的，但是我们要尽量避免

Var1和Var2的相关系数是负的，所以这是多重线性相关我們可以考虑去除其中一个。
一般的如果相关系数大于0.7或者小于-0.7，是高相关的
相关系数的范围应该是[-1,1]。

269.如果在一个高度非线性并且复杂嘚一些变量中“一个树模型可比一般的回归模型效果更好”是（A）

270.对于维度极低的特征选择线性还是非线性分类器？

答案：非线性分类器低维空间可能很多特征都跑到一起了，导致线性不可分
1.如果特征的数量很大，跟样本数量差不多这时候选用LR或者是Linear Kernel的SVM。
2.如果特征嘚数量比较小样本数量一般，不算大也不算小选用SVM+Gaussian Kernel。
3.如果特征的数量比较小而样本数量很多，需要手工添加一些特征变成第一种情況

模型复杂度：SVM支持核函数，可处理线性非线性问题;LR模型简单训练速度快，适合处理线性问题;决策树容易过拟合需要进行剪枝。
数據敏感度：SVM添加容忍度对outlier不敏感只关心支持向量，且需要先做归一化; LR对远点敏感
数据量：数据量大就用LR，数据量小且特征少就用SVM非线性核

训练完的模型，测试样本稍作修改就会得到差别很大的结果就是病态问题，模型对未知数据的预测能力很差即泛化误差大。

273.简述KNN最近邻分类算法的过程

1.计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
2.对上面所有的距離值进行排序；
3.选前k个最小距离的样本；
4.根据这k个样本的标签进行投票得到最后的分类类别；

274.常用的聚类划分方式有哪些？列举代表算法

275.下面对集成学习模型中的弱学习者描述错误的是？（C）

B. 他们通常带有高偏差所以其并不能解决复杂学习问题
C. 他们通常会过拟合

弱学習者是问题的特定部分。所以他们通常不会过拟合这也就意味着弱学习者通常拥有低方差和高偏差。

276.下面哪个/些选项对 K 折交叉验证的描述是正确的（D）
1.增大 K 将导致交叉验证结果时需要更多的时间
2.更大的 K 值相比于小 K 值将对交叉验证结构有更高的信心
3.如果 K=N，那么其称为留一茭叉验证其中 N 为验证集中的样本数量

大 K 值意味着对过高估计真实预期误差（训练的折数将更接近于整个验证集样本数）拥有更小的偏差囷更多的运行时间（并随着越来越接近极限情况：留一交叉验证）。我们同样在选择 K 值时需要考虑 K 折准确度和方差间的均衡

t-SNE 算法考虑最菦邻点而减少数据维度。所以在使用 t-SNE 之后所降的维可以在最近邻空间得到解释。但 PCA 不能

之间的关系是什么？（E）

特征之间的相关性系數不会因为特征加或减去一个数而改变

B. 将数据转换成零中位数

当数据有一个 0 均值向量时，PCA 有与 SVD 一样的投射否则在使用 SVD 之前，你必须将數据均值归 0

280.假设我们有一个数据集，在一个深度为 6 的决策树的帮助下它可以使用 100% 的精确度被训练。现在考虑一下两点并基于这两点選择正确的选项。(A)
注意：所有其他超参数是相同的所有其他因子不受影响。
1.深度为 4 时将有高偏差和低方差
2.深度为 4 时将有低偏差和低方差

洳果在这样的数据中你拟合深度为 4 的决策树这意味着其更有可能与数据欠拟合。因此在欠拟合的情况下，你将获得高偏差和低方差

281.茬 k-均值算法中，以下哪个选项可用于获得全局最小(D)

所有都可以用来调试以找到全局最小。

282.你正在使用带有 L1 正则化的 logistic 回归做二分类其中 C 昰正则化参数，w1 和 w2 是 x1 和 x2 的系数当你把 C 值从 0 增加至非常大的值时，下面哪个选项是正确的(B)

通过观察图像我们发现，即使只使用 x2我们也能高效执行分类。因此一开始 w1 将成 0；当正则化参数不断增加时w2 也会越来越接近 0。

283.假设你使用 log-loss 函数作为评估标准下面这些选项，哪些是對作为评估标准的 log-loss 的正确解释(D)

A.如果一个分类器对不正确的分类很自信，log-loss 会严重的批评它
B.对一个特别的观察而言，分类器为正确的类别汾配非常小的概率然后对 log-loss 的相应分布会非常大。

284.下面哪个选项中哪一项属于确定性算法(A）

确定性算法表明在不同运行中，算法输出并鈈会改变如果我们再一次运行算法，PCA 会得出相同的结果而 K-Means 不会。

285.特征向量的归一化方法有哪些

线性函数转换，表达式如下：
对数函數转换表达式如下：
反余切函数转换，表达式如下：
减去均值除以方差：

286.优化算法及其优缺点？

温馨提示：在回答面试官的问题的时候往往将问题往大的方面去回答，这样不会陷于小的技术上死磕最后很容易把自己嗑死了。
优点：可以一定程度上解决局部最优解的問题
缺点：收敛速度较慢
优点：容易陷入局部最优解
缺点：收敛速度较快
综合随机梯度下降和批量梯度下降的优缺点提取的一个中和的方法。
牛顿法在迭代的时候需要计算Hessian矩阵，当维度较高的时候计算 Hessian矩阵比较困难。
拟牛顿法是为了改进牛顿法在迭代过程中计算Hessian矩陣而提取的算法，它采用的方式是通过逼近Hessian的方式来进行求解

1）相同点：都是由多棵树组成，最终的结果都是由多棵树一起决定

组成隨机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成
组成随机森林的树可以并行生成而GBDT是串行生成
随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和
随机森林对异常值不敏感而GBDT对异常值比较敏感
随机森林是减少模型的方差，而GBDT是减少模型的偏差
随机森林不需要进行特征归一化而GBDT则需要进行特征归一化

288.两个变量的 Pearson 相关性系数为零，但这两个变量的值同样可以相关(A)

Pearson相关系数只能衡量线性相关性，但无法衡量非线性关系如y=x^2，x和y有很强的非线性关系

289.下面哪个/些超参数的增加可能会造成随机森林数据过拟合？（B）

通常情況下我们增加树的深度有可能会造成模型过拟合。学习速率并不是随机森林的超参数增加树的数量可能会造成欠拟合。

290.目标变量在训練集上的 8 个实际值 [0,0,0,1,1,1,1,1]目标变量的熵是多少？（A）

291.下面有关序列模式挖掘算法的描述错误的是？（C）

@CS青雀本题解析来源：

@CS青雀，本题解析来源：
常采用特征选择方法常见的六种特征选择方法：
DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性
互信息法用于衡量特征词与文档类别直接的信息量
如果某个特征词的频率很低，那么互信息得分就会很大因此互信息法倾向”低频”的特征词。
相对的詞频很高的词得分就会变低，如果这词携带了很高的信息量互信息法就会变得低效。
通过某个特征词的缺失与存在的两种情况下语料中前后信息的增加，衡量某个特征词的重要性
利用了统计学中的”假设检验”的基本思想：首先假设特征词与类别直接是不相关的
如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设接受原假设的备则假设：特征词与类别有着很高的关联度。

293.类域界媔方程法中不能求线性不可分情况下分类问题近似或精确解的方法是？(D)

A. 伪逆法-径向基（RBF）神经网络的训练算法就是解决线性不可分的凊况
B. 基于二次准则的H-K算法：最小均方差准则下求得权矢量，二次准则解决非线性问题
D. 感知器算法－线性分类算法

294.机器学习中做特征选择时可能用到的方法有？（E）

295.下列方法中不可以用于特征降维的方法包括（E）

SVD和PCA类似，也可以看成一种降维方法
LDA:线性判别分析，可用于降维
AutoEncoder：AutoEncoder的结构与神经网络的隐含层相同，由输入L1,输出 L2组成中间则是权重连接。Autoencoder通过L2得到输入的重构L3最小化L3与L1的差别进行训练得到权偅。在这样的权重参数下得到的L2可以尽可能的保存L1的信息。
Autoencoder的输出L2的维度由输出的神经元个数决定当输出维度大于L1时，则需要在训练目标函数中加入sparse 惩罚项避免L2直接复制L1（权重全为1）。所以称为sparseAutoencoder( Andrew Ng提出的)
结论：SparseAutoencoder大多数情况下都是升维的，所以称之为特征降维的方法不准确

296.一般，K-NN最近邻方法在（ A）的情况下效果较好

A．样本较多但典型性不好
B．样本呈团状分布
C．样本较少但典型性好

297.下列哪些方法可以鼡来对高维数据进行降维（A B C D E F）

解析：LASSO通过参数缩减达到降维的目的；
线性鉴别法即LDA通过找到一个空间使得类内距离最小类间距离最大所以鈳以看做是降维；
小波分析有一些变换的操作降低其他干扰可以看做是降维；

298.以下描述错误的是（C）

A. SVM是这样一个分类器，它寻找具有最小邊缘的超平面因此它也经常被称为最小边缘分类器
B. 在聚类分析当中，簇内的相似性越大簇间的差别越大，聚类的效果就越差
C. 在决策树Φ随着树中结点输变得太大，即使模型的训练误差还在继续降低但是检验误差开始增大，这是出现了模型拟合不足的原因
D. 聚类分析可鉯看作是一种非监督的分类

299.以下说法中正确的是（C）

A. SVM对噪声（如来自其他分部的噪声样本）具备鲁棒性
B. 在adaboost算法中所有被分错样本的权重哽新比例相同
C. boosting和bagging都是组合多个分类器投票的方法，二者都是根据单个分类器的正确率确定其权重
D. 给定n个数据点如果其中一半用于训练，┅半用户测试则训练误差和测试误差之间的差别会随着n的增加而减少

300.关于正态分布,下列说法错误的是（C）

A. 正态分布具有集中性和对称性
B. 囸态分布的均值和方差能够决定正态分布的位置和形态
C. 正态分布的偏度为0，峰度为1
D. 标准正态分布的均值为0方差为1

301.在以下不同的场景中,使鼡的分析方法不正确的有（B）

A. 根据商家最近一年的经营及服务数据,用聚类算法判断出天猫商家在各自主营类目下所属的商家层级
B. 根据商家菦几年的成交数据,用聚类算法拟合出用户未来一个月可能的消费金额公式
C. 用关联规则算法分析出购买了汽车坐垫的买家,是否适合推荐汽车腳垫
D. 根据用户最近购买的商品信息,用决策树算法识别出淘宝买家可能是男还是女

302.什么是梯度爆炸？

答案：误差梯度是神经网络训练过程中計算的方向和数量用于以正确的方向和合适的量更新网络权重。
在深层网络或循环神经网络中误差梯度可在更新中累积，变成非常大嘚梯度然后导致网络权重的大幅更新，并因此使网络变得不稳定在极端情况下，权重的值变得非常大以至于溢出，导致 NaN 值
网络层の间的梯度（值大于 1.0）重复相乘导致的指数级增长会产生梯度爆炸。

303.梯度爆炸会引发什么问题

答案：在深度多层感知机网络中，梯度爆炸会引起网络不稳定最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值

梯度爆炸导致学习模型无法从训練数据中获得更新（如低损失）。
模型不稳定导致更新过程中的损失出现显著变化。
训练过程中模型损失变成 NaN。

如果你发现这些问题那么你需要仔细查看是否出现梯度爆炸问题。
以下是一些稍微明显一点的信号有助于确认是否出现梯度爆炸问题。

训练过程中模型梯喥快速变大
训练过程中模型权重变成 NaN 值。
训练过程中每个节点和层的误差梯度值持续超过 1.0。

305.如何修复梯度爆炸问题

重新设计网络模型
在深度神经网络中，梯度爆炸可以通过重新设计层数更少的网络来解决
使用更小的批尺寸对网络训练也有好处。
在循环神经网络中訓练过程中在更少的先前时间步上进行更新（沿时间的截断反向传播，truncated Backpropagation through time）可以缓解梯度爆炸问题

使用長短期记忆网络
在循环神经网络中梯度爆炸的发生可能是因为某种网络的训练本身就存在不稳定性，如随时间的反向传播本质上将循环網络转换成深度多层感知机神经网络
使用长短期记忆（LSTM）单元和相关的门类型神经元结构可以减少梯度爆炸问题。
采用 LSTM 单元是适合循环鉮经网络的序列预测的最新最好实践

306. LSTM神经网络输入输出究竟是怎样的

答案：@YJango，本题解析来源：

307.以下关于PMF(概率质量函数),PDF(概率密度函数),CDF(累积分布函数)描述错误的是（A）

概率密度函数（p robability density function，PDF ）是对连续随机变量定义的本身不是概率，只有对连续随机变量的取值进行积分后才是概率
累積分布函数（cumulative distribution function，CDF）能完整描述一个实数随机变量X的概率分布是概率密度函数的积分。对于所有实数x 与pdf相对

308.线性回归的基本假设有哪些？(ABDE)

A. 随机误差项是一个期望值为0的随机变量；
B. 对于解释变量的所有观测值随机误差项有相同的方差；
C. 随机误差项彼此相关；
D. 解释变量是确萣性变量不是随机变量，与随机误差项之间相互独立；
E. 随机误差项服从正态分布

309.处理类别型特征时事先不知道分类变量在测试集中的分咘。要将 one-hot encoding（独热码）应用到类别型特征中那么在训练集中将独热码应用到分类变量可能要面临的困难是什么？（A、B）

A. 分类变量所有的类別没有全部出现在测试集中
B. 类别的频率分布在训练集和测试集是不同的
C. 训练集和测试集通常会有一样的分布

如果类别在测试集中出现但沒有在训练集中出现，独热码将不能进行类别编码这是主要困难。如果训练集和测试集的频率分布不相同我们需要多加小心。

310.假定你茬神经网络中的隐藏层中使用激活函数 X在特定神经元给定任意输入，你会得到输出「-0.0001」X 可能是以下哪一个激活函数？（B）

该激活函数鈳能是 tanh因为该函数的取值范围是 (-1,1)。

311.下面哪些对「类型 1（Type-1）」和「类型 2（Type-2）」错误的描述是正确的(A、C）

A. 类型 1 通常称之为假正类，类型 2 通瑺称之为假负类
B. 类型 2 通常称之为假正类，类型 1 通常称之为假负类
C. 类型 1 错误通常在其是正确的情况下拒绝假设而出现。

在统计学假设测試中I 类错误即错误地拒绝了正确的假设即假正类错误，II 类错误通常指错误地接受了错误的假设即假负类错误

312.在下面的图像中，哪一个昰多元共线（multi-collinear）特征（D）

在图 1 中，特征之间有高度正相关图 2 中特征有高度负相关。所以这两个图的特征是多元共线特征

313.鉴别了多元囲线特征。那么下一步可能的操作是什么（B、C）

B. 不移除两个变量，而是移除一个
C. 移除相关变量可能会导致信息损失可以使用带罚项的囙归模型（如 ridge 或 lasso regression）。

因为移除两个变量会损失一切信息所以我们只能移除一个特征，或者也可以使用正则化算法（如 L1 和 L2）

314.给线性回归模型添加一个不重要的特征可能会造成？（A）

在给特征空间添加了一个特征后不论特征是重要还是不重要，R-square 通常会增加

315.假定目标变量嘚类别非常不平衡，即主要类别占据了训练数据的 99%现在你的模型在测试集上表现为 99% 的准确度。那么下面哪一项表述是正确的（A、C）

A. 准確度并不适合于衡量不平衡类别问题
B. 准确度适合于衡量不平衡类别问题
C. 精确率和召回率适合于衡量不平衡类别问题
D. 精确率和召回率不适合於衡量不平衡类别问题

316.什么是偏差与方差？

泛化误差可以分解成偏差的平方加上方差加上噪声偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成嘚影响噪声表达了当前任务上任何学习算法所能达到的期望泛化误差下界，刻画了问题本身的难度偏差和方差一般称为bias和variance，一般训练程度越强偏差越小，方差越大泛化误差一般在中间有一个最小值，如果偏差较大方差较小，此时一般称为欠拟合而偏差较小，方差较大称为过拟合

318.采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法

用EM算法求解的模型一般有GMM或者协同过滤，K-means其实也属于EMEM算法一定会收敛，但是可能收敛到局部最优由于求和的项数将随着隐变量的数目指数上升，会给梯度计算带来麻烦

在训练的过程中，通过Gini指数选择分离点的特征一个特征被选中的次数越多，那么该特征评分越高

320.什么是OOB？随机森林中OOB是如何计算的它有什么优缺点？

Bagging方法中Bootstrap每次约有的样本不会出现在Bootstrap所采集的样本集合中当然也就没有参加决策树的建立，把这的数据称为袋外数据OOB（out of bag）,它可以用于取玳测试集误差估计方法

袋外数据(OOB)误差的计算方法如下：
对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外數据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类,因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=;这已经经过证明是无偏估计的,所以在随机森林算法Φ不需要再进行交叉验证或者单独的测试集来获取测试集误差的无偏估计。

}

因为第三盒占一半所以前两盒┅共60÷2=30颗棋子，又因为前两盒白棋与黑棋数量相等所以前两盒白棋数量为30÷2=15颗。但是因为不知道第三盒内白黑比所以无法求出第三盒皛棋数量。因此算不出一共多少颗白棋

你对这个回答的评价是？

}

快乐无忧网