Datastage：如何提高从oracle加载数据到sql server的性能答案

【问题标题】：Datastage: how to improve the performance load data from oracle to sql serverDatastage：如何提高从oracle加载数据到sql server的性能
【发布时间】：2012-02-14 05:08:17
【问题描述】：

平台是IBM Datastage 8.1 RHEL4 16G MEM,4CPU16CORE。当我尝试创建一个作业以将数据从 Oracle 加载到 SQL Server 时，该作业运行正常，但运行缓慢。 Oracle中源表的行数约为100,000,000，速度负载仅为620/s。

如何提高此作业的加载速度？

流程如下：

oracle EE stage -->  odbc stage [config the sqlserver odbc in .odbc.ini]

odbc 配置：

Driver=/opt/IBM/InformationServer/Server/branded_odbc/lib/VMmsss23.so
IANAAppCodePage=113
Description=DataDirect SQL Server Wire Protocol driver
Database=test
LogonID=datastage
Password=datacenter
Address=127.1.2.3,1433
QuotedId=No
AnsiNPW=No

【问题讨论】：

你在做什么并行化？
parallel是什么意思？我用default.apt文件来配置job的parallel。default.apt.
你的配置设置了多少个节点？
8 个节点。我认为并行配置不是提高性能的重点。

标签： datastage

【解决方案1】：

检查瓶颈：
1. 复制源SQL，在oracle客户端查询，看看有多少行能退吗？
2. 从一个小表插入到目标表，看看插入是不是瓶颈。
3. 如果 1 和 2 都不是瓶颈，请检查它是否是您的转换器中的复杂计算

根据我的经验，与您的硬件相比，这太慢了，最可能的瓶颈是源 SQL，您应该考虑对其进行调整。

【讨论】：

【解决方案2】：

使用 IBM Native Driver for SQL Server 并打开批量加载。重新运行作业。不要使用通用的 odbc 驱动程序。我认为它命名为 VMSSQL24.so

【讨论】：

嗯，在 rhel 上，它们可能被命名为 datadirect。但是打开批量加载并观察性能飞扬（比较）。