具有 SSIS 数据筛选的 Azure 数据湖

【问题标题】：Azure Data lake with SSIS Data Filtering具有 SSIS 数据筛选的 Azure 数据湖
【发布时间】：2018-08-01 08:11:05
【问题描述】：

我在 SSIS 中使用数据湖作为源，但我想获取或过滤 SSIS 中的某些特定行。您能否建议我们如何过滤 SSIS 中的 Azure 数据湖数据。

【问题讨论】：

【解决方案1】：

您可以在Data Flow 中的Data Lake Store Source 之后使用conditional Split 或Derived Column

我不确定您要如何过滤某些特定行。我假设将前两个字符的行过滤为 AB
(DT_STR,5000,1252)SUBSTRING([Column 0],1,2) != "AB"

【讨论】：

在这种情况下，数据湖将获取所有记录，但我需要来自 Source 的一些特定记录。
@RahulJain 将您的特定记录条件放在Condition 列中。在我上面的例子中。我已经过滤了以 AB 开头的记录为(DT_STR,5000,1252)SUBSTRING([Column 0],1,2) != "AB"。你可以像这样定义你的条件
@RahulJain 我的上述回答对您有帮助吗？在这种情况下，请投票/接受答案