大模型前置处理之——特征提取

在学习大模型技术的过程中，每个人应该都听过特征提取；但大部分人可能并不了解什么是特征提取，以及特征提取的方法和作用。

所以，今天我们就来介绍一下大模型的前置处理——特征提取。‍‍

背景

有很多人认为，特征提取是由神经网络发展而来；但事实上，在机器学习发展之出，甚至可以说在人工智能技术发展之初，特征提取就已经出现了，只不过因为那时人工智能的影响范围还比较小，除了业内人员之外，大部分人都不了解这个事情。‍‍‍‍‍‍‍‍‍‍‍‍

特征提取的大范围应用应该是从机器学习开始，只不过当时受限于技术条件；那时的机器学习模型还不能自动提取特征，因此那时的特征提取都是由研究人员进行人工抽取。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

但随着技术的发展，特别是深度学习和神经网络技术的发展；神经网络可以通过自身的编码器-Encoder自动进行特征提取；这样的优点就在于由神经网络自身提取的数据特征更加符合当前的神经网络模型；但同样的缺点就是，神经网络的设计和编码器的设计会直接影响到特征提取的效果。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

特征工程‍‍

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法中发挥更好作用的过程；特征工程的好坏直接影响到模型的学习效果。‍‍‍‍‍‍‍

特征工程是机器学习中至关重要的一步，它涉及将原始数据转换为适合机器学习模型的特征（也称为变量或属性）。好的特征工程可以显著提高模型性能，因为它能够揭示数据中的有用信息，降低噪音影响，甚至帮助模型更好地泛化到新数据。

特征工程主要包含以下几个方面：‍‍

特征抽取

特征预处理

特征降维‍‍

以下是特征工程的一些常见方法和技巧：

• 特征选择（Feature Selection）：从原始特征集中选择最相关、最有用的特征，以降低模型的复杂性和过拟合风险。

• 特征提取（Feature Extraction）：通过数学变换，将原始特征转换为更具信息量的特征，例如主成分分析（PCA）、独立成分分析（ICA）等。

• 特征转换（Feature Transformation）：对原始特征进行变换，以使其更适合模型，如对数、指数、归一化、标准化等。

• 多项式特征扩展（Polynomial Feature Expansion）：将原始特征的多项式组合添加到特征集中，以捕获特征之间的非线性关系。

• 时间序列特征处理：针对时间序列数据，可以提取滞后特征（lag features）、移动平均、指数加权移动平均等。

• 文本特征处理：对文本数据进行词袋模型（Bag-of-Words）、TF-IDF（Term Frequency-Inverse Document Frequency）处理，或者使用词嵌入（Word Embeddings）等技术。

• 类别特征编码：将类别型特征转换为数值型特征，例如独热编码（One-Hot Encoding）、标签编码（Label Encoding）等。

• 缺失值处理：处理缺失值的方法包括删除含有缺失值的样本、填充缺失值、使用模型预测缺失值等。

• 特征交互与组合：通过对特征进行交互、组合，创建新的特征来捕获更高级的信息。

• 数据降维：使用降维技术（如PCA）减少数据维度，以减少计算复杂性和噪音的影响。

• 领域知识引导：利用领域专业知识来设计和选择特征，以更好地捕获问题的本质。

在进行特征工程时，需要注意以下几点：

• 理解数据：深入了解数据的含义、结构和背景，以便做出更明智的特征工程决策。

• 避免过拟合：特征工程可能导致过拟合问题，因此需要谨慎选择和处理特征。

• 实验和迭代：尝试不同的特征工程方法，并使用交叉验证等技术来评估模型性能，以确定哪些方法有效。

• 自动化：一些自动化特征选择和提取工具可以帮助你快速尝试不同的特征工程技术。

总之，特征工程是机器学习中一个关键且有创造性的阶段，它能够显著影响模型的性能和泛化能力。

特征工程之特征抽取 

https://xzl-tech.blog.csdn.net/article/details/132303373?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ECtr-3-132303373-blog-120737635.235%5Ev43%5Epc_blog_bottom_relevance_base1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ECtr-3-132303373-blog-120737635.235%5Ev43%5Epc_blog_bottom_relevance_base1&utm_relevant_index=5