在从 oracle 表假脱机期间压缩数据

Question

我们正在从 Linux 服务器的 oracle 表中将数据假脱机到 CSV 文件中。

使用以下代码：

sqlplus -s Schema_User/Schema_Password@DB_Service <<EOF
set termout off
set heading off
set underline "_"
set pagesize 0 embedded on
set linesize 32000
set LONG 50000
set colsep '"|"'
set feedback off
spool ./Temp/ABC.csv
Select COLUMN1,COLUMN2 from ABC;
spool off
EOF

Linux 服务器 (df -h) 上的可用空间为 500GB。

spool 文件 ABC.csv 的生成在达到 500GB 大小后终止。

我们怀疑 ABC.csv 的最终大小将远远超过 500GB。

请提出一种我们可以在假脱机过程中压缩数据的方法。

我应该先从 oracle 表创建一个压缩的临时表，然后再进行假脱机吗？

CREATE TABLE XXX COMPRESS FOR QUERY AS SELECT * FROM ABC;

Answer 1

我已将我的代码修改如下，现在可以正常工作了：

mknod ../Temp/ABC.csv p
nohup gzip -c < ../Temp/ABC.csv > ../Files/ABC.gz &
sqlplus -s Schema_User/Schema_Password@DB_Service <<EOF
set termout off
set heading off
set underline "_"
set pagesize 0 embedded on
set linesize 32000
set LONG 50000
set colsep '"|"'
set feedback off
set trimspool on
spool ./Temp/ABC.csv
Select COLUMN1,COLUMN2 from ABC;
spool off
EOF

Answer 2

您的问题可能是因为您通过使用 set linesize 32000 而不是修剪来引入大量尾随空格。

将其添加到您的脚本中，就在 spool 命令之前：

set trimspool on

根据要提取的数据的列数和大小，这可以显着减小文件大小。

另外，您可能希望更改为设置 colsep '|' （不带双引号），请确保您提取的数据也不包含管道（或使用其他分隔符）

Answer 3

假设您的定义为sqlplus 的脚本称为script.sh。不是

script.sh | gzip > data.csv.gz

你在找什么？