在 Shady 中呈现预先准备好的图像数组的一部分

Question

我有兴趣从 psychtoolbox 迁移到 shady 以进行刺激演示。我查看了在线文档，但我不太清楚如何复制我目前在 matlab 中所做的事情。

我做的其实很简单。对于每次试验，

1. 我从磁盘加载单个图像（我离线进行亮度线性化），其中包含我计划在该试验中显示的所有帧（刺激为 1000x1000 像素，我呈现 25 帧，因此图像是 5000x5000px。我只使用 BW 图像，所以我每个像素只有一个 int8 值）。

2. 我将整个图像从 CPU 传输到 GPU

3. 在某些时候（外部控制）我将第一帧复制到视频缓冲区并呈现它

4. 在其他某个点（外部控制），我触发了 剩余 24 帧（将图像的相关部分复制到每个视频帧的视频缓冲区，然后调用 flip()）。

5. 通过让另一台机器通过 TCP/IP 与刺激呈现代码进行通信来实现外部控制。在控制PC向演示PC发送命令并执行后，演示PC需要向控制PC发送回确认消息。我需要发送三个 ACK​​ 消息，一个当屏幕上出现第一帧时，一个当屏幕上出现第二帧时，一个当屏幕上出现第 25 帧时（这样控制 PC 可以轻松验证是否丢帧)。 在 matlab 中，我通过调用阻塞方法 flip() 来呈现一个帧，当它返回时，我将 ACK 发送到控制 PC。

就是这样。我该怎么做？有我应该看的例子吗？

Answer 1

查找此信息的位置是Shady.Stimulus 和Shady.Stimulus.LoadTexture 的文档字符串，以及包含的示例脚本animated-textures.py。

像大多数 Python 一样，有多种方法可以做你想做的事。以下是我的做法：

w = Shady.World()
s = w.Stimulus( [frame00, frame01, frame02, ...], multipage=True )

其中每个 frameNN 是一个 1000x1000 像素的 numpy 数组（浮点或 uint8）。

您也可以让 Shady 直接从磁盘加载：

s = w.Stimulus('trial01/*.png', multipage=True)

其中目录 trial01 包含 25 个 1000x1000 像素的图像文件，命名为（例如）00.png 到 24.png，以便正确排序。或者您可以提供一个明确的文件名列表。

无论是从内存还是从磁盘加载，帧都会在该调用中全部传输到显卡。然后，您可以（时间紧迫地）在它们之间切换：

s.page = 0  # or any number up to 24 in your case

请注意，由于我们使用了multipage 选项，我们使用的是“页面”动画机制（每帧创建一个 OpenGL 纹理）而不是默认的“帧”机制（创建一个 1000x25000 OpenGL 纹理）因为后者会超过许多显卡上单个纹理的最大允许尺寸。这些机制之间的区别在Shady.Stimulus 类的文档字符串以及上述交互式演示中进行了讨论：

python -m Shady demo animated-textures

要准备下一次试用，您可以使用.LoadPages()（Shady 版本 1.8.7 中的新功能）。这循环通过现有的“页面”将新纹理加载到先前使用的显卡纹理缓冲区中，并根据需要添加更多页面：

s.LoadPages('trial02/*.png')

现在，您提到您已建立的工作流程是将帧连接为单个 5000x5000 像素的图像。我上面的解决方案假设您已经完成了将其再次切割成 1000x1000 像素帧的工作，大概使用了 numpy 调用（听起来您现在可能正在 Matlab 中做同样的事情）。如果您要继续保存为 5000x5000，那么保持对事物控制的最佳方式可能确实是维护自己的代码以将其切割。但值得一提的是，您可以采取完全不同的策略，一次性全部转移：

s = w.Stimulus('trial01_5000x5000.png', size=1000)

这会将整个预先准备好的 5000x5000 图像从磁盘（如果您想传递 5000x5000 numpy 数组而不是文件名，则再次从内存）加载到显卡内存中的单个纹理中。但是，由于size 规范，Stimulus 将仅显示阵列的左下角 1000x1000 像素部分。然后，您可以通过相对于信封移动载体来切换“帧”。例如，如果你说：

s.carrierTranslation = [-1000, -2000]

那么您将看到在您的 5x5 阵列中位于一个“列”和两个“行”上方的框架。

作为最后一点，请记住您可以利用 Shady 的动态伽马校正和抖动功能——除非您明确禁用它们，否则它们无论如何都会发生，尽管它们当然有如果您将刺激 .gamma 保留为 1.0 并使用整数像素值，则不会产生物理影响。因此，您可以将刺激生成为单独的 1000x1000 数组，每个数组包含[0.0,1.0] 范围内的非线性化浮点值，让 Shady 担心除此之外的所有内容。