【发布时间】:2020-11-03 13:24:14
【问题描述】:
我正在运行一段代码,它从一个 txt 文件中获取输入,使用输入来抓取一个 Tor 网页,然后给出一个名为 result 的字符串列表。我正在使用 tbselenium 模块。我需要将此列表写入两个输出文件 valid.txt 和 address.txt,当我运行脚本时,我得到了结果(字符串列表),但没有任何内容写入两个输出文件。没有引发错误,并且两个函数内的打印语句完美运行。输入读取成功
from tbselenium.tbdriver import TorBrowserDriver
import requests
import time
import pandas as pd
def read_input():
with open('Entries.txt') as fp:
users = fp.readlines()
return users
users = read_input()
result = some_function(users) # This function scrapes the webpage using selenium
def write_output(result):
with open('valid.txt', 'a+') as fw:
fw.writelines(result)
print('Writing to valid.txt', result)
def write_addr(result):
with open('address.txt', 'a+') as fw:
for x in result:
fw.write(x.split(':')[5]+'\n')
print('Writing to address.txt')
write_output(result)
write_addr(result)
然后我尝试将相同的输出写入 csv 文件。
df = pd.DataFrame(result)
print(df)
df.to_csv('valid.csv', mode='a', header=False)
dataFrame 已创建,但没有任何内容写入 csv 文件。如果我还没有在我的文件夹中创建一个,它甚至不会被创建。 如果我不运行抓取功能并尝试将某些内容写入输出文件,那么它可以工作。
【问题讨论】:
标签: python-3.x selenium-webdriver web-scraping tor file-writing