使用 pandas/matplotlib/python，我无法将我的 csv 文件可视化为集群

Question

我的 csv 文件是， https://github.com/camenergydatalab/EnergyDataSimulationChallenge/blob/master/challenge2/data/total_watt.csv

我想将此 csv 文件可视化为集群。 我的理想结果是下图。（较高的点（红色区域）将是较高的能源消耗，较低的点（蓝色区域）将是较低的能源消耗。）

我想将 x 轴设置为日期（例如 2011-04-18），将 y 轴设置为时间（例如 13:22:00），将 z 轴设置为能耗（例如 925.840613752523）。

我使用以下程序成功地将 csv 数据文件可视化为每 30 分钟的值。

from matplotlib import style
from matplotlib import pylab as plt
import numpy as np

style.use('ggplot')

filename='total_watt.csv'
date=[]
number=[]

import csv
with open(filename, 'rb') as csvfile:
    csvreader = csv.reader(csvfile, delimiter=',', quotechar='|')
    for row in csvreader:
        if len(row) ==2 :
            date.append(row[0])
            number.append(row[1])

number=np.array(number)

import datetime
for ii in range(len(date)):
    date[ii]=datetime.datetime.strptime(date[ii], '%Y-%m-%d %H:%M:%S')

plt.plot(date,number)

plt.title('Example')
plt.ylabel('Y axis')
plt.xlabel('X axis')

plt.show()

我还成功地使用以下程序将 csv 数据文件可视化为每天的值。

from matplotlib import style
from matplotlib import pylab as plt
import numpy as np
import pandas as pd

style.use('ggplot')

filename='total_watt.csv'
date=[]
number=[]

import csv
with open(filename, 'rb') as csvfile:

    df = pd.read_csv('total_watt.csv', parse_dates=[0], index_col=[0])
    df = df.resample('1D', how='sum')





import datetime
for ii in range(len(date)):
    date[ii]=datetime.datetime.strptime(date[ii], '%Y-%m-%d %H:%M:%S')

plt.plot(date,number)

plt.title('Example')
plt.ylabel('Y axis')
plt.xlabel('X axis')

df.plot()
plt.show()

虽然我可以将 csv 文件可视化为每 30 分钟和每天的值，但我不知道将 csv 数据可视化为 3D 中的集群..

我该如何编程...？

Answer 1

您的主要问题可能只是重塑您的数据，以便您在一个维度上拥有日期，而在另一个维度上拥有时间。一旦你这样做了，你就可以使用你最喜欢的任何绘图（这里我使用了 matplotlib 的 mplot3d，但它有一些怪癖）。

接下来的内容会获取您的数据并适当地对其进行整形，以便您可以绘制一个我认为是您正在寻找的表面。关键是使用pivot 方法，该方法按日期和时间重组您的数据。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import axes3d

fname = 'total_watt.csv'

# Read in the data, but I skipped setting the index and made sure no data
# is lost to a nonexistent header
df = pd.read_csv(fname, parse_dates=[0], header=None, names=['datetime', 'watt'])

# We want to separate the date from the time, so create two new columns
df['date'] = [x.date() for x in df['datetime']]
df['time'] = [x.time() for x in df['datetime']]

# Now we want to reshape the data so we have dates and times making the result 2D
pv = df.pivot(index='time', columns='date', values='watt')

# Not every date has every time, so fill in the subsequent NaNs or there will be holes
# in the surface
pv = pv.fillna(0.0)

# Now, we need to construct some arrays that matplotlib will like for X and Y values
xx, yy = np.mgrid[0:len(pv),0:len(pv.columns)]

# We can now plot the values directly in matplotlib using mplot3d
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')

ax.plot_surface(xx, yy, pv.values, cmap='jet', rstride=1, cstride=1)
ax.grid(False)

# Now we have to adjust the ticks and ticklabels - so turn the values into strings
dates = [x.strftime('%Y-%m-%d') for x in pv.columns]
times = [str(x) for x in pv.index]

# Setting a tick every fifth element seemed about right
ax.set_xticks(xx[::5,0])
ax.set_xticklabels(times[::5])
ax.set_yticks(yy[0,::5])
ax.set_yticklabels(dates[::5])

plt.show()

这给了我（使用您的数据）以下图表：

请注意，我在绘制和制作刻度时假设您的日期和时间是线性的（在这种情况下是线性的）。如果您有不均匀样本的数据，则必须在绘图前进行一些插值。