数据框的剂量元数据有助于为 ML 算法构建特征答案

【问题标题】：Dose meta data of data frame help build features for ML algorithms数据框的剂量元数据有助于为 ML 算法构建特征
【发布时间】：2019-12-13 08:56:00
【问题描述】：

最近，一位潜在雇主给了我一项任务，要求我做以下事情：

- transfer a data set to S3
- create metadata for the data set
- creat a feature for the data set in spark

现在这是一个实习职位，我是数据工程概念方面的新手，我无法理解如何使用元数据，甚至是否使用元数据来创建功能。

我浏览过许多有关特征工程和元数据的网站，但没有一个能真正告诉我元数据是否直接用于构建特征。

到目前为止，我从网站收集到的信息是，当您构建一个特征时，它会从给定数据集中提取某些列，然后将该信息放入特征向量中，供 ML 算法学习。所以对我来说，你可以直接从数据集中构建一个特性，而不用关心元数据。

但是，我想知道使用元数据在多个数据集中搜索给定信息以构建功能是否很常见，即您在元数据文件中查看某些条件适合您的建筑物的特征，然后从元数据中加载数据并从那里构建特征以训练模型。

例如，假设我有多个文件或某些汽车模型要制造，即（大众高尔夫、大众狐狸等），它包含该年汽车的年份和价格，我希望 ML 算法能够预测未来汽车的折旧或该汽车最新型号未来几年的折旧。您无需直接浏览所有数据集，而是检查某些属性的元数据（标签，如果措辞正确）来训练模型，然后使用（标签）从特定数据集中加载数据。

我很可能在这里偏离基础，或者我上面给出的示例可能完全错误，但如果有人可以解释如何使用元数据来构建功能，如果可以的话，或者即使链接到数据解释的工程网站。就在最后一两天的研究中，我发现数据 sic 比数据工程本身更多，而且大多数数据工程信息都来自博客，所以我觉得在阅读它们时我应该有一些预先存在的知识。

P.S 虽然不是编码问题，但我使用了 python 标签，因为似乎大多数数据工程师都使用 python。

【问题讨论】：

标签： python python-3.x metadata pipeline feature-engineering

【解决方案1】：

我会给出这个的概要！！！这里我们需要了解两个条件 1）我们是否有与构建 ML 模型直接相关的特征。 2）我们是否处于数据稀缺状态？总是提出一个问题，问题陈述在生成特征时对我们有什么建议？我们可以通过多种方式从给定的数据集中生成特征，例如 PCA、截断 SVD、TSNE，用于从给定特征创建新特征的降维技术。特征工程技术，例如傅里叶特征、三角特征等，然后我们转向元数据比如特征的类型、特征的大小、提取的时间等等。像这样的元数据也可以帮助我们创建用于构建 ML 模型的特征，但这取决于我们如何在数据语料库上执行特征工程各自的问题。

【讨论】：