在 Cassandra 中插入 Python 多处理 bach，没有提高性能

Question

我尝试在单个进程和多进程中进行批量插入，但它们使用的时间相同。我没有得到任何性能改进。 cassandra 的 keyspace 是 SimpleStrategy，我认为它只有一个节点。这些有影响吗？

这是我的多处理代码，你能帮我找出问题所在吗？

lock = Lock()
ID = Value('i', 0)

def copy(x): 

    cluster = Cluster()
    session = cluster.connect('test')
    global lock, row_ID
    count = 0

    insertt = session.prepare("INSERT INTO table2(id, age, gender, name) values(?, ?, ?, ?)")
    batch = BatchStatement()

    for i in x:
        with open(files[i]) as csvfile:
            reader = csv.reader(csvfile, delimiter=',')
            for row in tqdm(reader):
                if count <= 59:
                    with lock:
                        ID.value += 1
                    name_ID = row[1]
                    gender_ID = row[2]
                    age_ID = int(row[3])
                    batch.add(insertt, (ID.value, age_ID, gender_ID, name_ID))
                    count += 1
                else: 
                    count = 0
                    with lock:
                        ID.value += 1
                    name_ID = row[1]
                    gender_ID = row[2]
                    age_ID = int(row[3])
                    batch.add(insertt, (ID.value, age_ID, gender_ID, name_ID))
                    session.execute(batch)
                    batch = BatchStatement()

if __name__ == '__main__':
    start = time.time()
    with Pool() as p:
        p.map(copy, [range(0,6),range(6,12),range(12,18),range(18,24)])
        end = time.time()
        t = end - start
        print(t)

Answer 1

批次并不是为了提高性能，实际上恰恰相反。尤其是记录的批次（您在这里使用的）是正常写入成本的 2 倍以上。未记录的批次可能略微提高性能如果批次中的所有数据都属于同一分区。

在这个特定示例中，您的吞吐量也将受限于 csv 阅读器从磁盘读取的速度。由于它的阻塞可能是对吞吐量的主要影响之一。您还可以使用 executeAsync，这样您就不会在完成前一个批次时阻止构建下一个批次（但在这里再次不应使用批次）。