python中大型数据集的最快性能元组是什么？

Question

现在，我基本上是在浏览 Excel 表格。

我有大约 20 个名字，然后我有 50k 总值与这 20 个名字之一匹配，所以 excel 表有 50k 行长，B 列显示任何随机值，A 列显示 20 个名字之一。

我正在尝试为每个显示所有值的名称获取一个字符串。

Name A: 123,244,123,523,123,5523,12505,142... etc etc. 
Name B: 123,244,123,523,123,5523,12505,142... etc etc. 

现在，我创建了一个遍历 excel 表的字典，检查字典中的名称是否已准备好，如果是，则执行

strA = strA + "," + foundValue

然后它将 strA 插入到该特定名称的字典中。如果名称不存在，它会创建该字典键，然后将该值添加到其中。

现在，一开始一切都很好。但它已经大约 15 或 20 分钟，到目前为止它只添加到字典中的 5k 值，并且随着时间的推移它似乎变得更慢并且它继续运行。

我想知道是否有更好的方法或更快的方法来做到这一点。我正在考虑每 1k 个值构建一个新字典，然后最后将它们组合在一起.. 但这将是总共 50 个字典，听起来很复杂.. 虽然可能不是.. 我不确定，也许它可以更好地工作这样，这似乎行不通。

我确实需要在每个值之间用逗号显示每个值的字符串。这就是为什么我现在正在做字符串的事情。

Answer 1

此答案基于 OP 对我的评论的回答。我问他将如何处理 dict，暗示他可能一开始就不需要构建它。 @simon 回复：

我将其添加到 Excel 工作表中，因此我使用 KEY，即名称，然后 把它放在A1中，然后我取VALUE，即 1345,345,135,346,3451,35.. 等，然后将其放入 A2。然后我做 我的其余编程与该信息......但我需要 那些用逗号分隔的值，并且可以在该 excel 表中访问 就这样！

所以看起来字典毕竟不需要构建。这是一个替代方法：为每个名称创建一个文件，并将这些 文件 存储在 dict:

files = {}
name = 'John'  # let's say
if name not in files:
    files[name] = open(name, 'w')

然后，当您遍历 50k 行 excel 时，您会执行以下操作（伪代码）：

for row in 50k_rows:
    name, value_string = rows.split()  # or whatever
    file = files[name]
    file.write(value_string + ',')  # if already ends with ',', no need to add

由于您的 value_string 已经用逗​​号分隔，因此您的文件将类似于 csv，无需您进行任何进一步的调整（除非您可能想在完成后去掉最后一个尾随逗号）。然后，当您需要 John 的值时，只需 value = open('John').read()。

现在我从未使用过 50k 行的 excel，但如果这并不比您目前拥有的快一点，我会感到非常惊讶。拥有持久数据也是（嗯，也许）一个加分项。

---

编辑：

以上是面向内存的解决方案。写入文件比附加到列表要慢得多（但可能仍然比重新创建许多大字符串要快）。但是如果列表很大（看起来很可能）并且您遇到了内存问题（不是说会），您可以尝试使用文件方法。

另一种方法，类似于性能列表（至少对于我尝试的玩具测试）是使用StringIO：

from io import StringIO  # python 2: import StringIO import StringIO

string_ios = {'John': StringIO()}  # a dict to store StringIO objects
for value in ['ab', 'cd', 'ef']:
    string_ios['John'].write(value + ',')
print(string_ios['John'].getvalue())

这将输出'ab,cd,ef,'

Answer 2

取决于您如何读取 excel 文件，但假设行被读取为分隔符分隔的元组或其他内容：

d = {}
for name, foundValue in line_tuples:
    try:
        d[name].append(foundValue)
    except KeyError:
        d[name] = [foundValue]
d = {k: ",".join(v) for k, v in d.items()}

或者使用pandas:

import pandas as pd
df = pd.read_excel("some_excel_file.xlsx")
d = df.groupby("A")["B"].apply(lambda x: ",".join(x)).to_dict()

Answer 3

正确的方法是在列表中收集并在最后加入，但如果由于某种原因你想使用字符串，你可以加快字符串扩展的速度。将字符串从 dict 中弹出，以便只有一个对其的引用，从而可以启动优化。

演示：

>>> timeit('s = d.pop(k); s = s + "y"; d[k] = s', 'k = "x"; d = {k: ""}')
0.8417842664330237

>>> timeit('s = d[k];     s = s + "y"; d[k] = s', 'k = "x"; d = {k: ""}')
294.2475278390723

Answer 4

有很多因素可能会导致您的程序运行缓慢。

String concatenation in python 与大字符串一起使用时效率极低。

Python 中的字符串是不可变的。这个事实经常偷偷摸摸，让 Python 新手程序员一头雾水。不变性带来了一些优点和缺点。在加号列中，字符串可以用作字典中的键，并且可以在多个变量绑定之间共享单个副本。 （Python 自动共享一个和两个字符的字符串。）在减号列中，您不能说“将任何给定字符串中的所有 'a's 更改为 'b's”。相反，您必须创建一个具有所需属性的新字符串。这种持续复制会导致 Python 程序的效率显着降低。

考虑到示例中的每个字符串可能包含数千个字符，每次进行连接时，python 都必须将该巨大的字符串复制到内存中以创建一个新对象。

这样会更有效率：

strings = []
strings.append('string')
strings.append('other_string')
...
','.join(strings)

在您的情况下，它应该存储一个列表，而不是每个字典键都存储一个大字符串，并且您只需将每个匹配项附加到列表中，并且只有在最后您才会使用 str.join 进行字符串连接.

另外，printing to stdout is also notoriously slow。如果您在大规模 50,000 项循环的每次迭代中都打印到标准输出，那么每次迭代都会被无缓冲的标准输出写入所阻碍。考虑只打印每个nth 迭代，或者改为写入文件（文件写入通常被缓冲），然后从另一个终端拖尾文件。

Answer 5

不要构建一个看起来像列表的字符串，而是使用一个实际的列表，并在完成后用它来表示你想要的字符串。