如何从 Python 中的 CSV 文件中获取总行数？

Question

我正在使用 python（Django 框架）来读取 CSV 文件。如您所见，我只从这个 CSV 中提取了 2 行。我一直在尝试做的是将 CSV 的总行数也存储在一个变量中。

如何获取总行数？

file = object.myfilePath
fileObject = csv.reader(file)
for i in range(2):
    data.append(fileObject.next()) 

我试过了：

len(fileObject)
fileObject.length

Answer 1

如果您必须解析 CSV（例如，由于字段中存在换行符或注释掉的行），但 CSV 太大而无法一次容纳所有内存，您可以逐个解析 CSV -片：

import pandas as pd
import os
import sys

csv.field_size_limit(sys.maxsize)  # increase the maximal line length in pd.read_csv()

cnt = 0
for chunk in pd.read_csv(filepath, chunksize=10**6):
    cnt += len(chunk)
print(cnt)

Answer 2

如果你在 Unix 系统上工作，最快的方法是下面的 shell 命令

cat FILE_NAME.CSV | wc -l

在 Jupyter Notebook 或 iPython 中，您可以将其与 ! 一起使用：

! cat FILE_NAME.CSV | wc -l

Answer 3

在使用csv.reader() 方法迭代整个文件后，您可以通过实例变量line_num 读取总行数：

import csv
with open('csv_path_file') as f:
    csv_reader = csv.reader(f)
    for row in csv_reader:
        pass
    print(csv_reader.line_num)

引用the official documentation:

csvreader.line_num

从源迭代器读取的行数。

小警告：

• 总行数，包括标题（如果 CSV 有）。

Answer 4

可能想在命令行中尝试如下简单的操作：

sed -n '$=' filename

或

wc -l filename

Answer 5

您也可以使用经典的 for 循环：

import pandas as pd
df = pd.read_csv('your_file.csv')

count = 0
for i in df['a_column']:
    count = count + 1

print(count)

Answer 6

import pandas as pd
data = pd.read_csv('data.csv') 
totalInstances=len(data)

Answer 7

我认为我们可以稍微改进一下最佳答案，我正在使用：

len = sum(1 for _ in reader)

此外，我们不应该忘记 pythonic 代码并不总是在项目中具有最佳性能。例如：如果我们可以在同一个数据集中同时进行更多操作，最好在同一个 bucle 中完成所有操作，而不是制作两个或多个 pythonic bucle。

Answer 8

试试

data = pd.read_csv("data.csv")
data.shape

在输出中您可以看到类似 (aa,bb) 的内容，其中 aa 是行数

Answer 9

要做到这一点，你需要有一些代码，就像我的例子一样：

file = open("Task1.csv")
numline = len(file.readlines())
print (numline)

希望对大家有所帮助。

Answer 10

2018-10-29 编辑

感谢cmets。

我测试了几种代码来获取 csv 文件中的行数在速度方面。最好的方法如下。

with open(filename) as f:
    sum(1 for line in f)

这是测试的代码。

import timeit
import csv
import pandas as pd

filename = './sample_submission.csv'

def talktime(filename, funcname, func):
    print(f"# {funcname}")
    t = timeit.timeit(f'{funcname}("{filename}")', setup=f'from __main__ import {funcname}', number = 100) / 100
    print('Elapsed time : ', t)
    print('n = ', func(filename))
    print('\n')

def sum1forline(filename):
    with open(filename) as f:
        return sum(1 for line in f)
talktime(filename, 'sum1forline', sum1forline)

def lenopenreadlines(filename):
    with open(filename) as f:
        return len(f.readlines())
talktime(filename, 'lenopenreadlines', lenopenreadlines)

def lenpd(filename):
    return len(pd.read_csv(filename)) + 1
talktime(filename, 'lenpd', lenpd)

def csvreaderfor(filename):
    cnt = 0
    with open(filename) as f:
        cr = csv.reader(f)
        for row in cr:
            cnt += 1
    return cnt
talktime(filename, 'csvreaderfor', csvreaderfor)

def openenum(filename):
    cnt = 0
    with open(filename) as f:
        for i, line in enumerate(f,1):
            cnt += 1
    return cnt
talktime(filename, 'openenum', openenum)

结果如下。

# sum1forline
Elapsed time :  0.6327946722068599
n =  2528244


# lenopenreadlines
Elapsed time :  0.655304473598555
n =  2528244


# lenpd
Elapsed time :  0.7561274056295324
n =  2528244


# csvreaderfor
Elapsed time :  1.5571560935772661
n =  2528244


# openenum
Elapsed time :  0.773000013928679
n =  2528244

总之，sum(1 for line in f) 是最快的。但可能与len(f.readlines()) 没有显着差异。

sample_submission.csv 大小为 30.2MB，包含 3100 万个字符。

Answer 11

这适用于 csv 和所有在基于 Unix 的操作系统中包含字符串的文件：

import os

numOfLines = int(os.popen('wc -l < file.csv').read()[:-1])

如果 csv 文件包含字段行，您可以从上面的 numOfLines 中扣除一个：

numOfLines = numOfLines - 1

Answer 12

row_count = sum(1 for line in open(filename)) 为我工作。

注意：sum(1 for line in csv.reader(filename)) 似乎在计算第一行的长度

Answer 13

首先你必须用 open 打开文件

input_file = open("nameOfFile.csv","r+")

然后使用 csv.reader 打开 csv

reader_file = csv.reader(input_file)

最后可以用'len'指令取行数

value = len(list(reader_file))

总代码是这样的：

input_file = open("nameOfFile.csv","r+")
reader_file = csv.reader(input_file)
value = len(list(reader_file))

记住，如果你想重用csv文件，你必须创建一个input_file.fseek(0)，因为当你为reader_file使用一个列表时，它会读取所有文件，并且文件中的指针会改变它的位置

Answer 14

使用“列表”来适应更实用的对象。

然后你可以数数、跳过、变异直到你的心愿：

list(fileObject) #list values

len(list(fileObject)) # get length of file lines

list(fileObject)[10:] # skip first 10 lines

Answer 15

你需要统计行数：

row_count = sum(1 for row in fileObject)  # fileObject is your csv.reader

将sum() 与生成器表达式一起使用可以提高计数器的效率，避免将整个文件存储在内存中。

如果您已经阅读了 2 行，那么您需要将这 2 行添加到总数中；已读取的行数不计算在内。

Answer 16

上面的几个建议计算了 csv 文件中的 LINES 数。但是一些 CSV 文件将包含引用的字符串，这些字符串本身包含换行符。 MS CSV 文件通常用 \r\n 分隔记录，但在带引号的字符串中单独使用 \n。

对于这样的文件，计算文件中的文本行数（由换行符分隔）会产生太大的结果。因此，为了准确计数，您需要使用 csv.reader 来读取记录。

Answer 17

import csv
count = 0
with open('filename.csv', 'rb') as count_file:
    csv_reader = csv.reader(count_file)
    for row in csv_reader:
        count += 1

print count

Answer 18

numline = len(file_read.readlines())