【问题标题】:Salesforce to Azure Data warehouse - string truncatedSalesforce 到 Azure 数据仓库 - 字符串被截断
【发布时间】:2017-08-14 22:41:59
【问题描述】:

我们正在使用 Azure 数据工厂将数据从 Salesforce 复制到 Azure 数据仓库。由于某些值被截断,因此作业失败。Salesforce 中的源列的类型为长文本区域 (32000)。 Azure 数据仓库中什么是等效的数据类型来容纳来自 Salesforce 的数据?

【问题讨论】:

  • 您在 ADF 中使用 PolyBase 还是 bulkinsert 写入器?
  • 在 ADF 中批量插入。
  • 我不得不质疑在数据仓库中存储这么长时间的文本是否明智。这不像您可以聚合它或将其放入维度或GROUP BY。如果你真的想对文本做一些事情,比如分析、情感分析、命名实体识别等,请考虑将这些数据放在 Azure Data Lake 中,并按照精彩示例 here 使用认知库。然后,您可以将汇总的输出存储在仓库中,甚至从中生成报告,这很有意义。
  • 我必须同意@wBob

标签: azure azure-data-factory azure-sqldw


【解决方案1】:

简单回答。不要在数据仓库中存储 32,000 个字符字段! :-)

【讨论】:

  • 虽然它可能看起来很奇怪,但我想知道它在 Azure 数据仓库中在技术上是否可行?
猜你喜欢
  • 1970-01-01
  • 2011-06-05
  • 2018-04-30
  • 1970-01-01
  • 2020-10-01
  • 2016-12-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多