如何使用 Python 沿 x 轴分箱 2D 数据

Question

我有两个对应的数据数组（x 和 y），我在对数图上绘制如上。数据目前过于精细，我想将它们分箱以获得更平滑的关系。我能否获得一些关于如何沿 x 轴以 exponential 分箱大小分箱的指导，使其在对数刻度上呈线性显示？

例如，如果第一个 bin 的范围为 x = 10^0 到 10^1，我想收集该范围内对应 x 的所有 y 值，并将它们平均为该 bin 的一个值。我不认为 np.hist 或 plt.hist 完全可以解决问题，因为它们通过计数出现来进行分箱。

编辑：对于上下文，如果有帮助，上面的图是一个分类图，它绘制了某个网络的进出度。

Answer 1

您可以使用scipy.stats.binned_statistic 来获取每个 bin 中数据的平均值。最好通过numpy.logspace 创建垃圾箱。然后，您可以绘制这些方法，例如作为跨越 bin 宽度的水平线或分散在平均位置。

import numpy as np; np.random.seed(42)
from scipy.stats import binned_statistic
import matplotlib.pyplot as plt

x = np.logspace(0,5,300)
y = np.logspace(0,5,300)+np.random.rand(300)*1.e3


fig, ax = plt.subplots()
ax.scatter(x,y, s=9)

s, edges, _ = binned_statistic(x,y, statistic='mean', bins=np.logspace(0,5,6))

ys = np.repeat(s,2)
xs = np.repeat(edges,2)[1:-1]
ax.hlines(s,edges[:-1],edges[1:], color="crimson", )

for e in edges:
    ax.axvline(e, color="grey", linestyle="--")

ax.scatter(edges[:-1]+np.diff(edges)/2, s, c="limegreen", zorder=3)

ax.set_xscale("log")
ax.set_yscale("log")
plt.show()

Answer 2

您可以使用 pandas 来实现这一点。这个想法是使用np.digitize 将每个 X 值分配给一个区间。由于您使用的是对数刻度，因此使用 np.logspace 选择长度呈指数变化的间隔是有意义的。最后，您可以对每个区间中的 X 值进行分组并计算 Y 平均值。

---

import pandas as pd
import numpy as np

x_max = 10

xs = np.exp(x_max * np.random.rand(1000))
ys = np.exp(np.random.rand(1000))

df = pd.DataFrame({
    'X': xs,
    'Y': ys,
})

df['Xbins'] = np.digitize(df.X, np.logspace(0, x_max, 30, base=np.exp(1)))
df['Ymean'] = df.groupby('Xbins').Y.transform('mean')
df.plot(kind='scatter', x='X', y='Ymean')