python 2.7：将日志返回附加到 csv

Question

使用以下代码，我尝试每 5 分钟从网站获取数据，为其添加时间戳，计算其登录返回并将所有数据附加到 csv 文件中。

获取数据、为其添加时间戳并将其附加到 csv 是可行的，但是当我尝试弄清楚如何包含日志返回时，我有点卡住了。

import time
from time import strftime, gmtime
import numpy as np
import urllib2
from urllib2 import urlopen
from math import log

coiAr = []
dateAr = []
logReAr = []

def mcapGrab():
    while True:
        try:
            sourceCode = urllib2.urlopen('http://coinmarketcap.com').read() 

            mcapUSD = sourceCode.split('<strong>Total Market Cap: <span id="total-marketcap" data-usd="')[1].split('"')[0]
            coiAr.append(float(mcapUSD.replace(',','')))

            date = strftime('%d %b %Y %H:%M:%S', gmtime())
            dateAr.append(date)         
#           if len(coiAr) > 0:
#               indexLog = 1
#               logRe = log(coiAr[indexLog]/coiAr[indexLog-1])
#               logReAr.append(logRe)
#               indexLog += 1
#           else:
#               logReAr.append(0)

            for eachMcap in coiAr:
                saveLine = date+','+str(eachMcap)+'\n'
                saveFile = open('mcapdata.csv', 'a')
                saveFile.write(saveLine)
                saveFile.close()

                s = 0
                print dateAr[s]+','+str(coiAr[s])
                time.sleep(300)
                s+= 1


        except Exception, e: 
            print 'Failed to grab market cap', str(e)

mcapGrab()

我已经注释掉了我尝试计算和附加日志返回但不起作用的部分。

任何帮助将不胜感激！

Answer 1

不要使用全局列表；只需将每个条目写入文件找到它。使用csv 模块会让这一切变得更容易：

import csv

sourceCode = urllib2.urlopen('http://coinmarketcap.com').read() 
mcapUSD = sourceCode.split('<strong>Total Market Cap: <span id="total-marketcap" data-usd="')[1].split('"')[0]
mcap = float(mcapUSD.replace(',','')

# read previous value from the CSV first
with open('mcapdata.csv', 'rb') as infh:
    last = None
    for row in csv.reader(infh):
        last = row[1]  # second column

# Now calculate the log value based on the last value
logRe = log(mcap/float(last))

# write new values
with open(mcapdata.csv', 'ab') as outfh:
    date = strftime('%d %b %Y %H:%M:%S', gmtime())
    csv.writer(outfh).writerow([date, mcap, logRe])

这段代码将读取mcapdata.csv 文件，只挑选最后写入的值。相反，您也可以将所有行保留在内存中，然后只选择列表列表中的最后一个条目。