使用 SAS 导入包含 3070 个字段的 CSV 文件答案

【问题标题】：Use SAS to import CSV file with 3070 fields使用 SAS 导入包含 3070 个字段的 CSV 文件
【发布时间】：2011-06-27 15:45:46
【问题描述】：

我正在使用 AIX 5.3 和 SAS 9.1.3

我有一个 2.7G 的 CSV 文件。
该文件有大约 110k 行。
每行有 3070 个字段。

我使用文件名 myCSVfile LRECL=32768 ;
然后，我使用 Proc import ... delimiter = "," ...

SAS 程序似乎挂了。
运行 1 小时后它仍然存在。

我将文件头部设置为只有 40 行，然后重试。
这一次，似乎也挂了。
运行 1 小时后仍然存在。
这个小文件没有任何改进。

日志文件为 0 字节。
另外，当我 ps -ef 时，该进程已经占用了 10% 的 CPU。
最后我必须在离开办公室之前杀死它。

有什么提示可以解决这个问题吗？

萧亚文

【问题讨论】：

【解决方案1】：

你需要使用proc import吗？这可能会更好：

data tmp;
  infile './your_data_file' dlm=',' lrecl=as_big_as_you_need;
  input var1 var2 ...;
run;

以这种方式运行它还可以让您检查日志文件中发生的错误。

【讨论】：

【解决方案2】：

还尝试添加 truncover 选项吗？检查以确保没有任何行 > 32767 字符，因为这会导致问题。使用外部程序（即非 SAS）进行此检查。

干杯抢

【讨论】：