【问题标题】:Loop for multiple dataframes with a function使用函数循环多个数据帧
【发布时间】:2019-06-20 15:15:31
【问题描述】:

我试图通过多个数据帧运行一个函数,但我遇到了问题。我的主要问题是: 1) 我尝试使用 zip(df1, df2, df3,...) 运行定义的函数,输出是新的 DF1, DF2, DF3,...;但是,我失败了。是否可以通过多个数据帧运行一个函数,并且输出也是“zip”的数据帧?

2) 如果 zip() 不是一个选择,我该如何让我的函数在循环中运行?目前,我只有三个数据框,它们很容易分开完成。但是我想知道当我有 50、100 甚至更多数据帧时如何处理它。

这是我的代码:

import pandas as pd
import numpy as np 
import matplotlib.pyplot as plt 
import seaborn as sns  
#import scipy.stats as ss

# *********** 3 City Temperature files from NOAA ***********
# City 1
df1 = pd.pandas.read_csv('https://docs.google.com/spreadsheets/d/1Uj5N363dEVJZ9WVy2a_kkbJKJnyyE5qnEqOfzO0UCQE/gviz/tq?tqx=out:csv')
# City 2
df2 = pd.pandas.read_csv('https://docs.google.com/spreadsheets/d/13CgTdDCDzB_3WIYIRVMeLu6E36xzHSzRR5T_Ku0vThA/gviz/tq?tqx=out:csv')
# City 3
df3 = pd.pandas.read_csv('https://docs.google.com/spreadsheets/d/17pNZFIaV_NpQfSed-msIGu9jzzqF6JBvCZrBRiU2ZkQ/gviz/tq?tqx=out:csv')


def CleanDATA(data):
    data = data.drop(columns=['Annual']) 
    data = data.drop(data.index[29:-1])
    data = data.drop(data.index[-1])
    monthname=[]
    Temp=[]
    for row in range(0,len(data)):
        for col in range(1,13):
            #monthname.append(str(col)+"-"+str(data['Year'][row]))
            monthname.append(str(data['Year'][row])+str(col))
            Temp.append(data.iloc[row,col])

    df0=pd.DataFrame()
    df0['Month']=monthname
    df0['Temperature']=Temp
    df0['Month']=pd.to_datetime(df0['Month'],format='%Y.0%m') #change the date form
    df0['Month'] = pd.to_datetime(df0['Month']).dt.date # remove time, only keep date
    data =df0[df0.applymap(np.isreal).all(1)] # remove non-numerical     

    return data


data1 = CleanDATA(df1)
data2 = CleanDATA(df2)
data3 = CleanDATA(df3) 

另外,我在阅读以下 excel 文件时发现了 Pandas 的一个问题: https://drive.google.com/file/d/1V9fKpACbLrSi0NfB0FHSgc96PQerKkUF/view?usp=sharing(这是1990-2019年城市1的温度数据)

2019 年正在进行中,因此,NOAA 站仅在今年 5 月之前提供信息。 excel 数据用“M”标记所有缺失的数据。我注意到,一旦该列带有“M”,即使我已经删除了 2019 行,我也无法直接使用 boxplot。 Spyder 控制台会说“项目 [Jun to Dec]”丢失(有线的事情是我可以使用相同的数据来绘制 XY 线图)。要绘制箱线图,我必须在 excel 中手动删除 2019 年信息(1 行),而不是读取新文件。

【问题讨论】:

  • 欢迎。在单独的问题中询问关于箱线图的第二个问题,您可能会得到更好的结果。

标签: python pandas dataframe


【解决方案1】:

我会使用字典(或列表或其他可迭代对象)来完成。

cities = {'city1': 'https://...', 'city2': 'https://...', 'city3': 'https://...'}
df = {}
data = {}
for city, url in iteritems(cities):
    df[city] = pd.pandas.read_csv(url)
    data[city] = CleanDATA(df[city])

【讨论】:

  • 谢谢。请问为什么我使用 zip(df1,df2,df3,...dfn) 不起作用?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-03-23
  • 1970-01-01
  • 2023-03-19
  • 1970-01-01
  • 1970-01-01
  • 2019-08-03
  • 1970-01-01
相关资源
最近更新 更多