工作需要将读入文件时间降低,之前采用的是读取csv文件,使用的Pandas,数据条数大概有130余万条,大概要耗时2-3s,速度有点慢,看是否能通过转换为json数据后用json.load 来代替, 具体对比如下:
可以看到使用pandas.read_csv 耗时不到json.load 的三分之一,看来这条路走不通~
工作需要将读入文件时间降低,之前采用的是读取csv文件,使用的Pandas,数据条数大概有130余万条,大概要耗时2-3s,速度有点慢,看是否能通过转换为json数据后用json.load 来代替, 具体对比如下:
可以看到使用pandas.read_csv 耗时不到json.load 的三分之一,看来这条路走不通~
相关文章: