在 3D 图中显示真彩色 2D RGB 纹理？

Question

我正在尝试制作一个 3D 图，该图由一系列通过 RGB 堆栈的 2D 平面组成，如下所示：

我知道可以通过将每个像素的 x、y、z 坐标和 RGB(A) 颜色传递给plot_surface 来使用mpl_toolkits.mplot3d 来做到这一点：

import numpy as np
from matplotlib import pyplot as pp
from mpl_toolkits.mplot3d.axes3d import Axes3D

def plot_stack_slices(rgbstack, scale=(1., 1., 1.), z_interval=10.):

    fig, ax = pp.subplots(1,1,subplot_kw={'projection':'3d'})
    ax.invert_zaxis()
    ax.hold(True)

    sx, sy, sz = scale
    nz, ny, nx, nc = rgbstack.shape

    stack_xyz = np.mgrid[:nx*sx:nx*1j, :ny*sy:ny*1j, :nz*sz:nz*1j]

    slices = rgbstack[::-z_interval]
    slice_xyz = np.rollaxis(stack_xyz, 3, 0)[::-z_interval]

    surflist = []

    for (img,xyz) in zip(slices, slice_xyz):
        x, y, z = xyz
        s = ax.plot_surface(x, y, z, facecolors=img**0.75, 
            rstride=50, cstride=50)
        surflist.append(s)

    return fig, ax, surflist

不幸的是，如果我设置rstride=1, cstride=1 以便以全分辨率显示纹理，这将变得非常缓慢。

我还知道Mayavi 可以轻松处理以全分辨率显示多个 2D 纹理：

from mayavi import mlab

def plot_stack_slices2(stack, scale=(1., 1., 20.), z_interval=10.):

    mfig = mlab.figure(bgcolor=(1,)*3)

    sx, sy, sz = scale
    nz, ny, nx = stack.shape

    slices = stack[::-z_interval]
    slice_z = np.linspace(0,nz*sz,nz)[::z_interval]

    surflist = []

    for (img,z) in zip(slices, slice_z):
        im = mlab.imshow(img.T, colormap='gray', figure=mfig)
        im.actor.scale = [sx,sy,sz]
        im.actor.position = [0, 0, z]
        surflist.append(z)


    return fig, surflist

但是，现在的问题是似乎没有任何方法可以使用 Mayavi 显示真彩色 RGB 纹理 - according to the docs 我只能指定单个 (R, G, B) 元组或预定义的颜色图。

有人知道在 3D 图中显示真彩色 2D RGB 纹理的更好方法吗？

如果有足够的时间，我可能会弄清楚如何在 Vtk 甚至纯 OpenGL 中做到这一点（如果需要），但我真的希望有现有的库可以完成这项工作。

Answer 1

非常感谢 aestrivex 提供使用 Mayavi/VTK 的工作解决方案 - 这是我将来做更复杂的事情时可能需要的有用信息。

最后我实际上选择了cgohlke的建议，使用visvis，结果证明实现起来要简单得多：

import visvis as vv
vv.use('wx')

import numpy as np
from matplotlib.image import imread
from matplotlib.cbook import get_sample_data

imgdata = imread(get_sample_data('lena.png'))

nr, nc = imgdata.shape[:2]
x,y = np.mgrid[:nr, :nc]
z = np.ones((nr, nc))

for ii in xrange(5):
    vv.functions.surf(x, y, z*ii*100, imgdata, aa=3)

Answer 2

我不知道其他库——volshow 看起来很整洁，但我没有测试过——但你可以在 vtk 中做到这一点。

我一直致力于在 mayavi 中执行此操作（请参阅 How to directly set RGB/RGBA colors in mayavi），但对于某些图像源，mayavi 以一种根本不适合处理此问题的方式构建 vtk 管道。我从 mlab.imshow 开始将 2D vtk.ImageData 转换为真彩色的努力在每一步都遇到了阻力，但我做到了。

首先，这是我在 mayavi 中使用 mlab 实现的方法。即使按照我的标准，这也太 hacky 和“魔术”了：

from mayavi import mlab
import numpy as np
from tvtk.api import tvtk

k=mlab.imshow(np.random.random((10,10)),colormap='bone')

colors=tvtk.UnsignedCharArray()
colors.from_array(np.random.randint(256,size=(100,3)))
k.mlab_source.dataset.point_data.scalars=colors
k.actor.input.point_data.scalars=colors
#the latter set of scalars is what is actually used in the VTK pipeline in this 
#case, but if they don't play nice with the mayavi source then tvtk will
#complain because we are circumventing the structure it expects
k.actor.input.scalar_type='unsigned_char'
k.actor.input.number_of_scalar_components=3
k.image_map_to_color.lookup_table=None

k.actor.input.modified()
mlab.draw()
#this draw fails.  As it fails, there is an interaction here, somewhere deep in 
#tvtk, causing the ImageData to partially reset.. I have not been able to track 
#it down yet.  ignore the error output

k.actor.input.scalar_type='unsigned_char'
k.actor.input.number_of_scalar_components=3
#now after we reset these back to what they should be, it works

mlab.draw()
mlab.show()

但在纯 tvtk 中，它并没有那么糟糕：

import numpy as np
from tvtk.api import tvtk

colors=np.random.randint(256,size=(100,3))

an_image=tvtk.ImageData()
an_image.number_of_scalar_components=3
an_image.scalar_type='unsigned_char'
an_image.point_data.scalars=tvtk.UnsignedCharArray()
an_image.point_data.scalars.from_array(colors)
an_image.dimensions=np.array((10,10,1))

an_actor=tvtk.ImageActor()
an_actor.input=an_image
an_actor.interpolate=False

ren=tvtk.Renderer()
renWin=tvtk.RenderWindow()
renWin.add_renderer(ren)
ren.add_actor2d(an_actor)
iren=tvtk.RenderWindowInteractor()
iren.render_window=renWin
iren.interactor_style=tvtk.InteractorStyleTrackballCamera()
renWin.render()
iren.start()

当然，在 vtk 中做更多的工作。你甚至可以把它包装得很好，这样它就很合理了。

我想修复 mayavi 以正确处理此问题，但正如您从我的 sn-p 中看到的那样，这并不简单，可能需要一段时间。