Oracle 中的 SQLAlchemy 大数截断/舍入问题

Question

我管理许多 ETL 作业，其中我与 Facebook graph 和 Google Doubleclick 等 API 建立了联系，这些 API 使用大型数字唯一标识符。我们使用 Oracle 数据库来暂存其中的一些数据，并将其与我们自己的数据相结合。我一直遇到的问题是，当我通过 SQLAlchemy（使用 cx_Oracle）将这些大数字 ID 插入数字列时，有效数字会被截断。

示例： 1234567890726531 变为 1234567890726530

解决方法： 为了解决这个问题，我一直使用 VARCHAR2 数据类型来保存 ID 的文本表示，因为它保留了所有有效数字。

我相信它与这些错误线程有关：

• regression in numeric precision behavior in 6.0 #68
• v6.0.2 Issue 68 Redux? #98

（在我的情况下，我无法复制这些线程中提到的光标代码来测试该解决方案）

Facebook 示例的一些示例代码（或从中提取的相关部分）如下：

[...code that populate the "buffer" list]
schema,table_name = 'some_schema','some_table'
engine = create_engine(enginestr)
metadata = MetaData()
table  = Table(table_name,
                 metadata,
                 schema=schema,
                 autoload=True,
                 autoload_with=self.engine)
buf=[]
for i in buffer:
    d={
        'id':i[1]['id'],
        'id_char':i[1]['id'],
        'name':i[1]['name'],
        'status':i[1]['status'],
        'page_id':i[0]['id']
    }
    buf+=[d]
engine.execute(table.insert(),buf)

缓冲区条目如下所示：

[(<Page> {
      "id": "FacebookPageName"
  }, <LeadgenForm> {
      "id": "123456789012345",
      "leadgen_export_csv_url": "https://www.facebook.com/ads/lead_gen/export_csv/?id=123456789012345&type=form&source_type=graph_api",
      "locale": "en_US",
      "name": "Leadgen Form Name",
      "status": "ACTIVE"
  })]

表格本质上是这样的：

create table some_schema.some_table (
id number primary key,
name varchar2(512 char),
status varchar2(30 char),
updated timestamp with time zone default systimestamp,
id_char varchar2(64 char)
);

上面的代码运行后，这条SQL的结果应该是什么都没有

select to_char(t.id) ,t.id_char from some_schema.some_table t where t.id<>t.id_Char;

但是，它确实会返回结果（为保护隐私而略有改动）

NUMERIC_ID  ID_CHAR
1234567890726530    1234567890726531
1234567890585300    1234567890585296
1234567890103880    1234567890103882
1234567890185790    1234567890185794
1234567890359660    1234567890359664
1234567890793130    1234567890793131
1234567890250270    1234567890250272
1234567890467220    1234567890467223
1234567890905240    1234567890905241
1234567890369260    1234567890369255

此 DML 将其更新为按预期显示，向我展示了问题出在 python 端：

update some_schema.some_table t set t.id = t.id_char where t.id<>t.id_Char;

有没有更好的处理方法：

• 表反射
• 数据类型转换
• 插入
• 任何东西

这样我的大数值不会被截断？现在使用字符串类型的容器来存储 ID 似乎是可行的，但就每行的存储空间而言并不是最好的，这成为更大数据集的一个问题。

补充信息：

• Python 版本：3.6.2
• SQLAlchemy 版本：1.2.0
• cx-Oracle 版本：6.1

编辑：

在 Anthony Tuininga 的建议下，我尝试通过 cx-Oracle 直接插入记录，并没有导致上述舍入问题。这使我得出结论，我的问题在于我的 SQLAlchemy 实现或 SQLAlchemy 库本身。

buf=[]
columns = ('id','id_char','name','status','page_id')
for i in buffer:
    d=(
        i[1]['id'],
        i[1]['id'],
        i[1]['name'],
        i[1]['status'],
        i[0]['id']
    )
    buf+=[d]

from ouplax.database import KEY
import cx_Oracle
config = {
    'server'     : 'TNSName',
    'username'   : 'username',
    'schema'     : 'some_schema',
    'table_name' : 'some_table',
    'columns'    : ','.join(columns),
    'binds'      : ','.join( [':{}'.format(i) for i in range(1,len(columns)+1)] )
}
k = KEY(server=config['server'],username=config['username'],keyHeader='PYSQL') #Object for storing/retrieving credentials
connection = cx_Oracle.connect(config['username'],k.getpass(),server)
cursor = cx_Oracle.Cursor(connection)
stmt = 'truncate table {schema}.{table_name}'.format(**config)
print(stmt)
cursor.execute(stmt)
stmt = 'insert into {schema}.{table_name} ({columns}) values ({binds})'.format(**config)
print(stmt)
cursor.prepare(stmt)
cursor.executemany(None, buf)
connection.commit()
cursor.close()
connection.close()

Answer 1

我自己偶然发现了这个问题，并在 SQLAlchemy repo (link) 中提交了一个错误报告。该问题已在SQLAlchemy 1.2.11 release 中解决：

[oracle] [bug] 根据 cx_Oracle 开发人员的建议，对于 cx_Oracle，整数数据类型现在将绑定到“int”。以前，在 cx_Oracle 6.x 系列中使用 cx_Oracle.NUMBER 会导致精度损失。