【问题标题】:Copying Data from SAP BW to Azure Data Lake Store using Azure Data Factory使用 Azure 数据工厂将数据从 SAP BW 复制到 Azure Data Lake Store
【发布时间】:2018-08-01 00:05:53
【问题描述】:
我一直在尝试将一些数据从本地 SAP BW 复制到云 Azure Data Lake Store。我已经将接收器配置为 Data Lake Store,但我无法配置源。已经下载了 netweaver 库并将 dll 放在我的系统 32 文件夹中,并创建了在我的本地机器上运行的集成运行时。以前有人试过吗?
谢谢
【问题讨论】:
标签:
azure
integration
azure-data-factory
azure-data-lake
sap-bw
【解决方案1】:
如果您没有任何其他 SAP 数据服务或 HANA 工具,我建议使用 SAP Open Hub 功能 SAP BW 生成平面文件。然后可以将文件加载到 HDFS 中,也就是 Azure 数据湖存储。
推荐理由:
1. SAP BW Open hub 对开发人员甚至非 SAP-BW 人员都很容易。
2. 我不建议使用 netweaver RFC(dll 库)方法与 SAP BW 集成,因为这主要使用 MDX 读取 BW 数据,并具有重要的编码和对 BW 元数据的理解。
3. 这样可以确保不违反 SAP 数据分发许可。
希望这能有所帮助。
雷
【解决方案2】:
@lei Fabricio 提到的 nw 库必须是 nwlibrfc32.dll,它必须由客户手动注入,以便 ADF 可以与 BW 数据源一起使用。这是 PowerBI 服务访问 BW 数据源的共享框架。从技术上讲,这是可行的,Fabricio 必须确保注入正确的 DLL(32 位与 64 位)。如果没有错误日志,我们必须推测。
但是,从解决方案的角度来看,由于底层 MDX 引擎和 BW 连接器的结果处理器存在瓶颈,请理解这不会成为一种执行方式。如果体积小,则没有问题。否则,我们需要审查其他选项。如果用户可以在 BW 中处理一组批处理作业管理并在 Azure 中处理一组单独的 ADF 作业管理,则 Open Hub 可能是一个选项。从 IT 敏捷性的角度来看,耦合两组操作流程并不是最佳方法。
另一个需要考虑的选择是推迟使用 ADF,而是选择使用 SSIS。像我们一样,使用 SSIS 通过 Azure 功能包加载 SAP 数据。但这也可能不是最好的方法,因为如果 Fabricio 的团队已经投资了 ADF,就不再有 ADF。或者他们可能更喜欢 SSIS。总而言之,必须对可持续解决方案进行某种程度的权衡。
回到原来的问题,请发布错误详情,我们可以帮助调查。