带有开放for循环的python

Question

我有一个大小合适的网页抓取脚本，其中包含 25K+ url 的输入到一个单独的页面抓取函数中，该函数在所有 url 中运行一个 for 循环。在 for 循环结束时，它将结果写入 csv。 目前，我有这个代码：

if link == url[0]:
        # Creating the file and writing headers with the first entry and closing after
        # the first entry to go from write mode to append mode
        with open(file_Name, 'w') as f:
            stats_df.to_csv(f)
            record_Counter = record_Counter + 1
            print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))
    elif link == url[1]:
        # Opening the file in append mode and keeping it open for the majority of the loop
        # and writing with no headers
        f = open(file_Name, mode = 'a') 
        stats_df.to_csv(f, header=False)
        record_Counter = record_Counter + 1
        print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))
    elif link == url[-1]:
        # Writing the final entry of this page and closing the file
        stats_df.to_csv(f, header=False)
        record_Counter = record_Counter + 1
        print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))
        f.close()
    else:
        # Writing all entries in between
        stats_df.to_csv(f, header=False)
        record_Counter = record_Counter + 1
        print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))

以前，我有这个：

if link == url[0]:
        with open(file_Name, 'w') as f:
            stats_df.to_csv(f)
            record_Counter = record_Counter + 1
            print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))
else:
        with open(file_Name, 'a') as f:
            stats_df.to_csv(f)
            record_Counter = record_Counter + 1
            print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))

我对更简单的代码的担忧是我打开和关闭 csv 文件 25K 次，这会减慢我的运行时间。我目前担心的是在打开 f 的异常情况下内存损坏的问题。

我是否有理由担心我的任何一个问题？感谢您的宝贵时间。

Answer 1

真正的问题是程序员在错误的地方和错误的时间花费了太多时间来担心效率；过早的优化是编程中万恶之源（或至少是大部分）。--Donald Knuth

我在 1982 年或 83 年开始在分时迷你电脑上学习编程。东西慢慢地跑了。记忆很紧。因此，我太担心有多少内存/操作/等。我的代码使用。放下这件事很难。

你说：

我对更简单的代码的担心是我打开和关闭 csv 文件 25K 次，这会减慢我的运行时间。

当然是。但明显吗？应用程序的时间敏感性如何？如果需要额外运行 60 秒，会有什么影响？

另一方面：

我目前担心的是在打开 f 的异常时内存损坏的问题。

你这是什么意思？

如果遇到异常并且程序关闭，Python 会自行清理。如果您担心有人做坏事，它可能不会在退出时清除所有内存，但异常处理的全部意义在于以安全且一致的方式处理异常。

我可能对此非常错误，但是我阅读这段代码的方式：

elif link == url[1]:
    # Opening the file in append mode and keeping it open for the majority of the loop
    # and writing with no headers
    f = open(file_Name, mode = 'a') 
    stats_df.to_csv(f, header=False)
    record_Counter = record_Counter + 1
    print ('Two entries for one game recorded.  Counter = '  + str(record_Counter))

您尝试每次通过循环打开 file_name 并调用文件句柄 f。我不知道虚拟机内部会发生什么，但是（a）您每次都关闭并重新打开文件，或者（ii）您发现文件已经打开并且只是重用 f.我不知道这比仅仅打开附加文件并将数据爆破到它有多少效率。

IMO 我认为这种规模的速度差异不值得。

另一方面，Knuth 也说：

程序员会浪费大量时间来思考或担心程序中非关键部分的速度，而在考虑调试和维护时，这些提高效率的尝试实际上会产生强烈的负面影响。我们应该忘记小的效率，比如大约 97% 的时间：过早优化是万恶之源。然而，我们不应该放弃那关键的 3% 的机会。