将sas数据导入hadoop答案

【问题标题】：Import sas data into hadoop将sas数据导入hadoop
【发布时间】：2014-04-09 15:34:43
【问题描述】：

我们正在购买第三方调查数据。他们以 SAS 格式向我们提供数据。

源数据格式 - SAS 频率 - 每天数据 - 完整的一年数据集（无增量）

我们希望每天将这些数据引入我们的 Hadoop 环境。我们有哪些选择。

我们要求他们以文本文件的形式发送数据。但是他们的文本文件有 8650 列（例如 Country .. 所以他们有 250 列 - 每个国家都有一列）。我们的 ETL 工具未能处理那么多列。根据他们的说法，以 SAS 格式读取数据更加容易。

任何建议..

谢谢

【问题讨论】：

您使用的是什么 ETL 工具？这与 Hadoop 有什么关系？它有 HDFS 连接器吗？你能提供一个你得到的 SAS 格式的样本吗？
我想知道SAS数据是否可以定期导入Hadoop。如果是，工具是什么？我需要在高层执行哪些步骤。所以我可以创建好的商业案例。 Datastage 是 ETL 工具，但当时数据将传输到 DB2。

标签： hadoop sas

【解决方案1】：

这里的问题不是技术问题...听起来他们只是无济于事。我的大部分工作都是在 SAS 中完成的，并且永远不会为某人提供包含这么多列的表并期望他们导入它。

即使他们以 SAS 格式发送数据，SAS 数据集仍将具有相同数量的列，并且 ETL 工具（即使它可以读取 SAS 数据集 - 这不太可能）仍然可能会失败。

告诉他们转置 SAS 中的数据以减少列数，然后将其作为文本文件重新发送。

【讨论】：

【解决方案2】：

谢谢大家..

我想，这会解决我的问题：

【讨论】：