如何使用 Cx_Oracle 以 .zip 格式获取数据？答案

【问题标题】：How to fetch data as a .zip using Cx_Oracle?如何使用 Cx_Oracle 以 .zip 格式获取数据？
【发布时间】：2021-05-16 02:04:28
【问题描述】：

我想获取数据，但收到一个包含所有数据的 .zip，而不是数据元组列表。即，进行指定的查询，然后数据库服务器将结果数据压缩为 .zip，然后将此 .zip 发送给客户端。通过这样做，我希望能大大减少发送数据所花费的时间，因为有很多重复的字段。

我知道 Advanced Data compression 存在于 Oracle 中，但是我无法使用 Cx_Oracle 来实现。

感谢任何帮助/解决方法。

【问题讨论】：

Oracle 无法本地创建 zip 文件。您必须在应用程序/客户端中执行此操作：即在 python 中。
@pmdba 好吧，我想在服务器上做，让数据传输更快。您确定没有任何方法可以做到这一点吗？或者，任何解决方法？
在传输中压缩数据的唯一方法是使用高级压缩选项。这将压缩网络上的网络数据包，但不会生成 zip 文件。它可以静态压缩各种类型的原生 Oracle days 文件，但不会创建导出数据的 zip 文件。 Advanced Compression 是 Oracle 的一项额外费用、单独许可的功能，如果您还没有此功能，则需要与 Oracle 销售人员联系。
我有高级压缩，如何使用 Cx_Oracle 启用它？我正在搜索文档，但没有任何参数可以指定。
这听起来像是以前问过的问题。然后我的回答是使用 SQL 和 PL/SQL 来构建最小数据集。

标签： python sql oracle compression cx-oracle

【解决方案1】：

可以按照此处所述启用高级网络压缩，使用 sqlnet.ora 和/或 tnsnames.ora：

【讨论】：

已尝试 (DESCRIPTION= (COMPRESSION=on) (COMPRESSION_LEVELS=(LEVEL=low)... 对于 800 万次观察，级别低和高。这两种情况都比没有压缩需要更多时间。Oracle 压缩不不能正常工作，而且绝对不值钱。
这可能意味着您没有处理足够大的数据集以使压缩的 CPU 开销值得，或者您没有足够的 CPU 资源可用服务器或客户端。压缩并不是万能的——它只会在特定用例中增加好处，当您从网络延迟中恢复的资源开销超过您在增加的 CPU 上的花费时。
好吧，我猜你是对的，但是 800 万行还不够吗？数据库服务器不是问题...很强大的机器。当我使用 7-zip zip 压缩检索到的数据时，缩小了 80 %....
您说的是两种不同的压缩方式。网络压缩不像文件压缩那样进行重复数据删除；它在流式传输网络数据包时对其进行压缩。此外，当您在接收端解压缩流时，客户端（不仅仅是服务器）的 CPU 资源将影响网络压缩的效率。
您必须先构建整个数据集，然后作为文件传输，而不是作为用户会话的一部分。数据库应用程序和客户端不以这种方式运行。大多数应用程序希望尽快将第一行数据呈现给用户，然后将其余结果缓存在后台并允许用户翻阅它们。没有人愿意等待整个结果集被构建、压缩、传输、解压缩，然后放入内存中，然后才看到一行。这将需要更多的 CPU 和磁盘 I/O，并且比直接流式传输到内存需要更长的时间。