特征选择方法如何结合

㈠ FPM特征选择的三种方法

当数据维数比较大时，就需要进行降维，特征选择是降维的一种主要方式，又包括3种方法：Filter、Wrapper和Enbedding。
1.Filter
过滤器方法，这种方法首先选定特征，再来进行学习。根据每一个属性的一些指标（如方差等），来确定这个属性的重要程度，然后对所有属性按照重要程度排序，从高到低的选择属性。选定了属性以后，再来进行训练。比如FisherScore、LaplacianScore等。这种方法其实不大好，因为决定特征选择效果的不是单个的属性，而是属性的集合，比如属性A、B、C，单个来看效果不好，但是它们组合起来效果有可能不错。
2.Wrapper
包裹器方法，这种方法把选定的特征集用分类器进行训练，用训练效果（如准确率等）来作为特征集的评价。比如将启发式搜索、GA等。这种方法和分类器相结合，比较直观，和Filter相比也更加合理。缺点是计算开销较大。
3.Embedding
嵌入式方法，即把特征选择的过程作为学习过程的一部分，在学习的过程中进行特征选择，最典型的如决策树算法。

㈡ CFS的特征选择算法

基于关联规则的特征选择算法（correlation-based feature selection），是一种经典的过滤器模式的特征选择方法。源自论文“correlation-based feature selection for discrete and numeric class machine learning”，启发地对单一特征 对应于每个分类的作用进行评价，从而得到最终的特征子集。特别地，特征必须是离散的随机变量，如果是数值型变量，需要首先执行指导的离散化方法来进行离散化特征。

㈢ 图像特征提取方法=特征选择与描述

(1)提取简单,时间和空间复杂度低.
(2)区分能力强,对图像视觉内容相似的图像其特征描述之间也应相近,反
之,对于视觉内容不相似的图像其特征描述之间应有一定的差别.
(3)与人的视觉感知相近,对人的视觉感觉相近的图像其特征描述之间也相
近,对人的视觉感知有差别的图像其特征描述之间也有一定的差别.
(4)抗干扰能力强,鲁棒性好,对图像大小,方向不敏感,具有几何平移,
旋转不变性.

㈣ 机器学习中，有哪些特征选择的工程方法

特征选择是特征工程中的重要问题（另一个重要的问题是特征提取），坊间常说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程尤其是特征选择在机器学习中占有相当重要的地位。通常而言，特征选择是指选择获得相应模型和算法最好性能的特征集，工程上常用的方法有以下：1. 计算每一个特征与响应变量的相关性：工程上常用的手段有计算皮尔逊系数和互信息系数，皮尔逊系数只能衡量线性相关性而互信息系数能够很好地度量各种相关性，但是计算相对复杂一些，好在很多toolkit里边都包含了这个工具（如sklearn的MINE），得到相关性之后就可以排序选择特征了；2. 构建单个特征的模型，通过模型的准确性为特征排序，借此来选择特征，另外，记得JMLR'03上有一篇论文介绍了一种基于决策树的特征选择方法，本质上是等价的。当选择到了目标特征之后，再用来训练最终的模型；3. 通过L1正则项来选择特征：L1正则方法具有稀疏解的特性，因此天然具备特征选择的特性，但是要注意，L1没有选到的特征不代表不重要，原因是两个具有高相关性的特征可能只保留了一个，如果要确定哪个特征重要应再通过L2正则方法交叉检验；4. 训练能够对特征打分的预选模型：RandomForest和Logistic Regression等都能对模型的特征打分，通过打分获得相关性后再训练最终模型；5. 通过特征组合后再来选择特征：如对用户id和用户特征最组合来获得较大的特征集再来选择特征，这种做法在推荐系统和广告系统中比较常见，这也是所谓亿级甚至十亿级特征的主要来源，原因是用户数据比较稀疏，组合特征能够同时兼顾全局模型和个性化模型，这个问题有机会可以展开讲。6. 通过深度学习来进行特征选择：目前这种手段正在随着深度学习的流行而成为一种手段，尤其是在计算机视觉领域，原因是深度学习具有自动学习特征的能力，这也是深度学习又叫unsupervised feature learning的原因。从深度学习模型中选择某一神经层的特征后就可以用来进行最终目标模型的训练了。整体上来说，特征选择是一个既有学术价值又有工程价值的问题，目前在研究领域也比较热，值得所有做机器学习的朋友重视。

㈤ 如何根据高光谱图像数据提取其空间特征

特征提取和特征选择是模式识别的关键问题之一，它影响到分类器的设计及其性能．高光谱图像数据

是超高维多特征数据集，如何实现高维特征空间的特征压缩和特征提取是一个重要课题．基于高光谱图像谱图合一、数据维度高的数据结构特点，该文从光谱和图像两个层面分别综述了主成分分析、最小噪声分离、独立成分分

析等光谱特征提取方法以及基于颜色、纹理、形状等图像特征提取方法．还详细介绍了核主成分分析和投影寻踪方

法这两种高光谱特征提取新方法，并给出了以上方法的应用实例．特征提取和特征选择的研究将为后续的高光谱图

㈥ 特征处理有哪些方法

、常用方法
1、时间戳处理
时间戳通常需要分离成多个维度比如年、月、日、小时、分钟、秒钟。但在很多的应用中，大量的信息是不需要的，因此我们在呈现时间的时候，试着保证你所提供的所有数据是你的模型所需要的，并且别忘了时区，加入你的数据源来自不同的地理数据源，别忘了利用时区将数据标准化。
2、离散型变量处理
举一个简单的例子，由{红，黄，蓝}组成的离散型变量，最常用的方式是吧每个变量值转换成二元属性，即从{0，1}取一个值，也就是常说的独热编码(one-hot code)。
3、分箱/分区
有时候，将连续型变量转换成类别呈现更有意义，同时能够使算法减少噪声的干扰，通过将一定范围内的数值划分成确定的块。举个例子，我们要预测具有哪些特征的人会购买我们网店的商品，用户的年龄是一个连续的变量，我们可以将年龄分为15以下、15-24、25-34、35-44、45及以上。而且，不是将这些类别分成2个点，你可以使用标量值，因为相近的年龄表现出相似的属性。
只有了解变量的领域知识的基础，确定属性能够划分成简洁的范围时分区才有意义，即所有的数值落入一个分区时能够呈现出共同的特征。在实际的运用中，当你不想让你的模型总是尝试区分值之间是否太近时，分区能够避免出现过拟合。例如，如果你感兴趣的是将一个城市作为总体，这时你可以将所有落入该城市的维度整合成一个整体。分箱也能减小小错误的影响，通过将一个给定值划入到最近的块中。如果划分范围的数量和所有可能值相近，或对你来说准确率很重要的话，此时分箱就不合适了。
4、交叉特征
交叉特征算是特征工程中非常重要的方法之一，它将两个或更多的类别属性组合成一个。当组合的特征要比单个特征更好时，这是一项非常有用的技术。数学上来说，是对类别特征的所有值进行交叉相乘。
假如拥有一个特征A,A有两个可能值{A1，A2}。拥有一个特征B，存在{B1，B2}等可能值。然后，A&B之间的交叉特征如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，并且你可以给这些组合特征取任何名字。但是需要明白每个组合特征其实代表着A和B各自信息协同作用。
5、特征选择
为了得到更好的模型，使用某些算法自动的选出原始特征的子集。这个过程，你不会构建或修改你拥有的特征，但是会通过修建特征来达到减少噪声和冗余。
特征选择算法可能会用到评分方法来排名和选择特征，比如相关性或其他确定特征重要性的方法，更进一步的方法可能需要通过试错，来搜素出特征子集。
还有通过构建辅助模型的方法，逐步回归就是模型构造过程中自动执行特征选择算法的一个实例，还有像Lasso回归和岭回归等正则化方法也被归入到特征选择，通过加入额外的约束或者惩罚项加到已有模型(损失函数)上，以防止过拟合并提高泛化能力。
6、特征缩放
有时候，你可能会注意到某些特征比其他特征拥有高得多的跨度值。举个例子，将一个人的收入和他的年龄进行比较，更具体的例子，如某些模型(像岭回归)要求你必须将特征值缩放到相同的范围值内。通过特征缩放可以避免某些特征获得大小非常悬殊的权重值。
7、特征提取
特征提取涉及到从原始属性中自动生成一些新的特征集的一系列算法，降维算法就属于这一类。特征提取是一个自动将观测值降维到一个足够建模的小数据集的过程。

㈦ 为什么要做特征选择，列举一些常用的特征选择方法

特征提取：是从某些（事物）中提取本质性的功能、应用、优势等等这类是从特征中提取出的。 特征选择：是从提取中的东西中选择你所需要的，从这个层面进行阐述就好的很多。 二者是直接关联的关系。

㈧ 如何选择特征图

特征选择主要有两个功能：

• 减少特征数量、降维，使模型泛化能力更强，减少过拟合

• 增强对特征和特征值之间的理解

拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。

㈨ 何为光谱特征选择光谱特征选择的方法有哪些

原有的遥感数据处理算法在处理高光谱数据时，常遇到Hughes现象即“维数祸根“。为了有效地处理数据，“降维”就成为一个必然的选择；“降维”即在尽可能地保留信息的同时，对波段进行压缩。目前压缩波段有两种方法：①从众多波段中选择感兴趣的若干波段，或选择信息量大、相关性小的若干波段。②利用所有波段，通过数学变换压缩波段。如主成分分析法(PCA)等。本文主要介绍第一种压缩方法。