【发布时间】:2017-08-14 22:41:59
【问题描述】:
我们正在使用 Azure 数据工厂将数据从 Salesforce 复制到 Azure 数据仓库。由于某些值被截断,因此作业失败。Salesforce 中的源列的类型为长文本区域 (32000)。 Azure 数据仓库中什么是等效的数据类型来容纳来自 Salesforce 的数据?
【问题讨论】:
-
您在 ADF 中使用 PolyBase 还是 bulkinsert 写入器?
-
在 ADF 中批量插入。
-
我不得不质疑在数据仓库中存储这么长时间的文本是否明智。这不像您可以聚合它或将其放入维度或
GROUP BY。如果你真的想对文本做一些事情,比如分析、情感分析、命名实体识别等,请考虑将这些数据放在 Azure Data Lake 中,并按照精彩示例 here 使用认知库。然后,您可以将汇总的输出存储在仓库中,甚至从中生成报告,这很有意义。 -
我必须同意@wBob
标签: azure azure-data-factory azure-sqldw