在嵌入式特征选择中，特征选择算法本身作为组成部分嵌入到学习算法里。最典型的即决策树算法，如ID3、C4.5以及CART算法等，决策树算法在树增长过程的每个递归步都必须选择一个特征，将样本集划分成较小的子集，选择特征的依据通常是划分后子节点的纯度，划分后子节点越纯，则说明划分效果越好，可见决策树生成的过程也就是特征选择的过程。过滤式特征选择的评价标准从数据集本身的内在性质获得，与特定的学习算法无关，因此具有较好的通用性。通常选择和类别相关度大的特征或者特征子集。过滤式特征选择的研究者认为，相关度较大的特征或者特征子集会在分类器上可以获得较高的准确率。过滤式特征选择的评价标准分为四种，即距离度量、信息度量、关联度度量以及一致性度量。
在机器学习的具体实践任务中，选择一组具有代表性的特征用于构建模型是非常重要的问题。特征选择通常选择与类别相关性强、且特征彼此间相关性弱的特征子集，具体特征选择算法通过定义合适的子集评价函数来体现。在现实世界中，数据通常是复杂冗余，富有变化的，有必要从原始数据发现有用的特性。人工选取出来的特征依赖人力和专业知识，不利于推广。于是我们需要通过机器来学习和抽取特征，促进特征工程的工作更加快速、有效。特征选择的目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程特征选择的搜索策略分为：完全搜索策略、启发式策略以及随机搜索策略。特征选择本质上是一个组合优化问题，求解组合优化问题最直接的方法就是搜索，理论上可以通过穷举法来搜索所有可能的特征组合，选择使得评价标准最优的特征子集作为最后的输出，但是n个特征的搜索空间为2n，穷举法的运算量随着特征维数的增加呈指数递增，实际应用中经常碰到几百甚至成千上万个特征，因此穷举法虽然简单却难以实际应用。其他的搜索方法有启发式的搜索和随机搜索，这些搜索策略可以在运算效率和特征子集质量之间寻找到一个较好的平衡点，而这也是众多特征选择算法努力的目标。
引用一下吴恩达的话：“应用机器学习其实就是在做特征工程，特征工程是非常难、耗时、也是需要专业知识的一个工作。”我们理想中机器学习的情况：有很干净的Raw data，然后变成可学习的Dataset, 通过某些算法学出某些模型，然后解决一个问题，这是最理想的一个状态。但现实中，我们会有各种各样的数据，有的从数据库来，有的从日志来，有的从半结构结构化文档来，有的从无结构的音频、才能够被我们机器学习所使用，从而能学习出模型解决出问题。
简单举个例子来说，金融信贷申请反欺诈场景下，当一个新的用户来申请贷款，我们如何评估一个用户是欺诈用户还是正常用户，那么就需要找到这二者在哪些特征上表现存在差异，通过这些特征来进行区分。
寻找基本特征、构建组合特征来有效地区分不同label的样本，这个就是特征工程。