特征选择方法怎么结合

❶ 特征工程-特征选择、特征表达、特征预处理

特征工程是数据分析中的核心步骤，涉及特征选择、特征表达、特征预处理等多个方面。本文主要聚焦于特征选择部分，旨在总结常用的方法与策略，为数据分析实践提供参考。

一、特征选择

特征选择是特征工程的第一步，它直接影响机器学习算法的性能。面对成百上千的特征，如何挑选出最合适的那一部分？

1. 特征来源与选择

特征的来源通常有两种：一是通过业务领域专家整理的特征数据；二是从现有特征中通过数据挖掘手段寻找高级特征。

过滤法是基于统计学原理对特征进行评分，常用方法包括：

• 方差筛选：基于特征方差大小，方差大的特征被认为更具有信息价值。


• 相关系数：用于连续值特征，计算特征与目标变量之间的相关性。


• 卡方检验、F检验、t检验：用于分析特征与目标变量之间的关联性，选择相关性高特征。


• 互信息：从信息论角度衡量特征与目标变量之间的依赖程度。

过滤法简洁高效，但可能错过与目标变量间接关联的特征。

包装法通过优化目标函数（如预测准确性）来选择特征，常见的算法有递归特征消除（RFE）。

RFE算法在训练模型后，依据模型系数的大小依次剔除影响最小的特征，直至满足所需特征数量。

嵌入法直接在训练过程中评估特征的重要性，如使用L1、L2正则化选择特征系数较大的特征。

此外，决策树、GBDT等算法在训练后可输出特征重要度，用于特征选择。

2. 寻找高级特征

在已有特征的基础上，通过计算特征间的组合（加和、差、积、商）可以生成高级特征，用于提升模型性能。

高级特征的生成需结合业务需求，避免特征爆炸，应适度使用。

3. 特征选择总结

特征选择是特征工程的核心，应综合考虑统计学指标、模型性能和业务背景。过滤法、包装法和嵌入法是常用策略，选择高级特征时需灵活运用。

通过有效特征选择，可以显着提升模型的准确性和泛化能力，优化数据分析流程。