使用 AWS Data Pipeline 在 CSV/TSV 文件中创建列标题？答案

【问题标题】：Creating column headers in CSV/TSV files using AWS Data Pipeline?使用 AWS Data Pipeline 在 CSV/TSV 文件中创建列标题？
【发布时间】：2017-06-06 01:58:17
【问题描述】：

我正在使用 AWS Data Pipeline 创建 CSV 和 TSV 文件。文件创建得很好，但我不知道如何创建带有列标题的文件。

起初，我希望标头会根据我为获取导出而运行的 SQL 查询自动生成。这没有用，但没关系。

然后我将列定义列表添加到 DefaultDataFormat3 功能/节点的“列”属性中。

{
  "escapeChar": "\\",
  "name": "DefaultDataFormat3",
  "column": [
    "id INT",
    "field1 STRING",
    "field2 STRING"
  ],
  "columnSeparator": "|",
  "id": "DataFormatId_jEXqL",
  "type": "TSV",
  "recordSeparator": "\\n"
}

我仍然只是得到导出中没有标题行的 CSV 和 TSV。

【问题讨论】：

AWS Datapipeline 的文档记录很差。大多数地方很难理解该字段应该做什么。
遇到同样的问题...你有没有得到解决方案？
我没有，@joeB1 : (

标签： csv amazon-web-services export-to-csv amazon-data-pipeline

【解决方案1】：

我遇到了blog post，它解释了一个解决方案。如果您对数据使用查询，则可以将列名添加为第一个结果：

SELECT 'firstName', 'lastName', 'email'
UNION ALL
SELECT firstName, lastName, email
FROM users

【讨论】：

这是一个最出色的解决方案。但是，AWS 也应该修复它！ :)
同意。此解决方案的一个缺点是您必须将所有内容都转换为字符串，否则 SQL 会抱怨列类型不匹配。
聪明，比添加另一个处理步骤要干净得多。谢谢。