【问题标题】:Chaining InputOperations in Rhino-EtlRhino-Etl 中的链式输入操作
【发布时间】:2013-11-18 18:41:36
【问题描述】:

我最近刚刚开始使用Rhino-Etl 来处理非常简单的 ETL 流程,并取得了巨大的成功。我现在有一个稍微复杂的场景要解决,但我没有发现 ConventionInputCommandOperation 的行为符合我的预期。

我已经完成了一个非常简单的示例来说明我正在尝试做的事情。基本上我涉及两个系统,在我第一次查询系统 1 之前,我不知道我想从系统 2 得到什么。我认为在另一个 InputOperation 之后立即注册一个 InputOperation 会像一个循环一样。这样操作 1 中的每一行都将馈送到操作 2。下面的代码失败并显示“无法执行操作 DetailReader:必须声明标量变量 @PlanetAbbrv。”所以我的问题是你打算如何处理输入操作依赖于先前输入操作的情况?

谢谢, 布赖恩

using System;
using Rhino.Etl.Core;
using Rhino.Etl.Core.ConventionOperations;

namespace ETLTest
{
    class Program
    {
        static void Main()
        {
            new MainProcess().Execute();
            Console.ReadLine();
        }
    }

    public class MainProcess : EtlProcess
    {
        protected override void Initialize()
        {
            Register(new MainReader());
            Register(new DetailReader());
        }

        protected override void PostProcessing()
        {
            foreach (var exception in GetAllErrors())
            {
                throw exception;
            }
        }
    }

    public class MainReader : ConventionInputCommandOperation
    {
        public MainReader() : base("Galactic1")
        {
            Command = @"select * from Planet";
        }
    }

    public class DetailReader : ConventionInputCommandOperation
    {
        public DetailReader() : base("Galactic2")
        {
            Command = @"select * from Delivery where DeliveryPlanetAbbrv = @PlanetAbbrv";
        }
    }
}

【问题讨论】:

    标签: rhino-etl


    【解决方案1】:

    您需要让 DetailReader 选择所有行(取出 where 操作)。 然后使用 JoinOperation 将详细信息与主要信息匹配。

    Register(new JoinPlanets()
                         .Right(new MainReader())
                         .Left(new DetailReader()));
    
    
    public class JoinPlanets: JoinOperation
    {
        protected override Row MergeRows(Row leftRow, Row rightRow)
        {
            Row row = leftRow.Clone();
            foreach (var column in leftRow.Columns)
                row[column] = leftRow[column];
            return row;
        }
    
        protected override void SetupJoinConditions()
        {
            FullOuterJoin.Left("PlanetAbbrv")
                         .Right("DeliveryPlanetAbbrv");
        }
    }
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多