无法在具有旧数据的现有 csv 文件中附加新结果 *first*

Question

我用 python 编写了一个脚本，它能够从网页中获取不同帖子的标题并将它们写入 csv 文件。由于该站点非常频繁地更新其内容，我喜欢首先将新结果附加到该 csv 文件中，其中已经有可用的旧标题列表。

我试过了：

import csv
import time
import requests
from bs4 import BeautifulSoup

url = "https://stackoverflow.com/questions/tagged/python"

def get_information(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    for title in soup.select(".summary .question-hyperlink"):
        yield title.text

if __name__ == '__main__':
    while True:
        with open("output.csv","a",newline="") as f:
            writer = csv.writer(f)
            writer.writerow(['posts'])
            for items in get_information(url):
                writer.writerow([items])
                print(items)

        time.sleep(300)

上述脚本在运行两次时可以在旧结果之后追加新结果。

旧数据如下：

A
F
G
T

新数据为W,Q,U。

当我重新运行脚本时，csv 文件应该如下所示：

W
Q
U
A
F
G
T

如何将新结果先附加到包含旧数据的现有 csv 文件中？

Answer 1

将数据插入文件中除末尾之外的任何位置都需要重写整个内容。为此，无需先将其全部内容读入内存，您可以创建一个包含新数据的临时 csv 文件，将现有文件中的数据附加到该文件，删除旧文件并重命名新文件。

这是我的意思的示例（使用虚拟 get_information() 函数来简化测试）。

import csv
import os
from tempfile import NamedTemporaryFile

url = 'https://stackoverflow.com/questions/tagged/python'
csv_filepath = 'updated.csv'

# For testing, create a existing file.
if not os.path.exists(csv_filepath):
    with open(csv_filepath, 'w', newline='') as f:
        writer = csv.writer(f)
        writer.writerows([item] for item in 'AFGT')

# Dummy for testing.
def get_information(url):
    for item in 'WQU':
        yield item


if __name__ == '__main__':
    folder = os.path.abspath(os.path.dirname(csv_filepath))  # Get dir of existing file.

    with NamedTemporaryFile(mode='w', newline='', suffix='.csv',
                            dir=folder, delete=False) as newf:
        temp_filename = newf.name  # Save filename.
        # Put new data into the temporary file.
        writer = csv.writer(newf)
        for item in get_information(url):
            writer.writerow([item])
            print([item])

        # Append contents of existing file to new one.
        with open(csv_filepath, 'r', newline='') as oldf:
            reader = csv.reader(oldf)
            for row in reader:
                writer.writerow(row)
                print(row)

    os.remove(csv_filepath)  # Delete old file.
    os.rename(temp_filename, csv_filepath)  # Rename temporary file.

Answer 2

由于您打算更改表格中每个元素的位置，因此您需要将表格读入内存并重写整个文件，从新元素开始。

您可能会发现 (1) 将新元素写入新文件，(2) 打开旧文件并将其内容附加到新文件，以及 (3) 将新文件移动到原始文件（旧) 文件名。