Azure 数据工厂中的缓存查找属性

Question

我有一个要求，其中我有一个源文件，其中包含映射数据流中的表名称。基于文件中的表名称 - 需要一个动态查询，其中列元数据以及一些其他属性从数据字典表中检索并插入到不同的接收器表中。文件中的表名将用作 where 条件过滤器。

由于输入文件中可以列出多个表（假设它是一个 csv，其中只有一列包含表名），如果我们决定为文件使用缓存接收器：

1. 是否可以在同一映射数据流中的源转换查询中使用缓存接收器的结果 - 作为查找（从哪里检索列元数据），如果是，如何

2. 根据此表名限制元数据表查询中的数据的最佳方法是什么

3. 虽然可以通过使用 For Each 将表名作为参数传递给数据流的管道来实现这一点，但在这种情况下，如果文件中有 100 个表，则需要进行 100 次迭代和 100 次集群被旋转起来。请告知这是错误的还是有更好的方法来实现这一点

Answer 1

您需要使用选项 3。遍历表名并将每个作为参数传递给数据流，以在数据集中设置表名。

ADF 处理集群的创建和拆除。您所要担心的是您是要按顺序执行还是并行执行，以及执行多少。 ADF 中存在并发限制，因此如果您并行运行，则应考虑批量计数为 20。