论文阅读报告
一、论文简介
标题：Mapping Color to Meaning in Colormap Data Visualizations.
作者：
Schloss Karen B; Gramazio Connor C; Silverman Allison T; Parker Madeline L; Wang Audrey S;
出版杂志：IEEE transactions on visualization and computer graphics
DOI:10.1109/TVCG.2018.2865147
二、摘要
为了解释数据可视化，人们必须确定视觉特征如何映射到概念上。例如，要解释colormap，人们必须确定颜色的维度（如亮度、色调）是如何映射到给定测量值的数量上的（如大脑活动、相关程度）。当可视化中的编码映射与人们对视觉特性如何映射到概念及其推断映射的预测相匹配时，这个过程就更容易了。
为了在可视化设计中利用这一原理，有必要了解哪些因素决定了人们推断的映射。在这项研究中，探讨了背景颜色对colormap数据可视化中颜色数量映射的影响。以前的文献对背景颜色如何影响推断的颜色数量映射给出了看似矛盾的描述。目前的结果有助于解决这些冲突，表明有时背景有效果，有时没有效果，这取决于colormap的透明度是否不同。当透明度没有明显的变化时，参与者推断较暗的颜色映射到较大的数量（dark-is-more bias）。随着不透明度的明显变化增加，参与者会倾向于推断更不透明的颜色映射到更大的数量（opaque-is-more bias）。这些偏见在浅色背景下共同作用，在深色背景下相互冲突。在这样的冲突下，opaque-is-more bias可以否定，甚至取代 dark-is-more bias。结果表明，如果设计目标是生成与人们推断的映射相匹配且对背景颜色的变化具有鲁棒性的颜色映射，则使用在任何背景颜色上都不会出现透明度变化的colormaps以及以较暗颜色编码较大数量的颜色映射是有效的。
三、研究的问题
3.1 感知与认知工作
当人们解释colormap数据可视化时，感知和认知因素都会影响人们完成视觉推理任务的能力。在感知上，他们必须能够区分对应于不同数量的感知特征（例如，感知表示神经图像中不同数量神经活动的两种蓝色阴影之间的差异）。在认知上，他们必须能够理解所描述数据背后的概念（例如，理解在一个大脑区域观察到比另一个区域更大的神经活动的含义）。在感知和认知之间的界面，人们必须解释感知特征如何映射到由数据表示的概念上（例如，确定哪些蓝色阴影映射到哪些数量的神经活动）。
在这个过程中，人们根据他们感知到的视觉输入和特定上下文中的相关概念，构建关于视觉特征如何映射到概念上的推论。当人们推断的映射与可视化中的编码映射相匹配时，即使图例已经明确指定了编码映射，人们也更容易解释可视化映射（甚至不需要图例）。
3.2 研究的问题
那么问题就来了：是什么因素决定了人们的推断映射?
为了解决这个问题，论文研究了colormap数据可视化中推断的颜色-数量映射如何受到colormap中的颜色和背景颜色之间的关系的影响。
有三种类型的偏差可以决定推断的映射，它们对背景的作用不同：
①dark-is-more bias意味着人们推断，无论背景颜色如何，较深的颜色对应的数量更大。
②contrast-is-more bias意味着人们推断，高对比度的颜色映射到更大的数量，这取决于背景(即。在浅色背景上，深色更明显;光更多的是在黑暗的背景上)。
③opaque-is-more bias意味着人们推断不透明的颜色对应更大的数量，而不透明的数量依赖于背景，但仅当颜色图的不透明度出现变化时，其方式与contrast-is-more bias相同。
论文作者通过向参与者展示虚构的陌生动物目击事件的彩色地图（上图）来测试这些偏见，并评估他们的反应时间，以报告当天早些时候还是晚些时候有更多的目击事件发生。改变了图例中编码的颜色-数量映射(“dark-more”或“light-more”编码)，以及用于构造colormap和背景颜色的颜色比例。通过确定哪种编码的映射可以加快不同颜色映射和背景组合的响应时间，研究人员了解了推断的映射受背景影响的条件。结果表明:
①背景的作用是不同的，这取决于用来构造颜色图的颜色比例及其与背景的关系。只有当colormap的透明度发生变化时，背景才起作用。
②当colormap在透明度上没有变化时，推断出的映射被dark-is-more bias所主导，而没有背景的影响。这一发现挑战了纯粹的contrast-is-more bias。
③当colormap确实出现透明度变化时，推断的映射包含一个“opaque-is-more bias”的偏差。opaque-is-more bias的强度取决于表观不透明度变化的强度。opaque-is-more bias是一种更细微的contrast-is-more bias，因为只有在不透明度有明显变化时，与背景的对比才是重要的。
通过区分“dark-is-more bias”、“contrast-is-more bias”和“opaque-is-more bias”，论文的结果将先前的结果和文献中的例证结合起来，解决了看似矛盾的说法。
四、相关工作——Colormap数据可视化
colormap数据可视化方面的工作可以分为三种主要类型:
(1)为colormap设计 color scale（颜色比例尺）
在一篇全面的综述中，Bujack等人将这些属性组织成不同的类别，并强调了他们定义数学公式的三个类别:
①区分能力Discriminative power
指的是观察者在一个颜色范围内所能感知到的不同颜色的数量。
②均匀性Uniformity
指从color scale的不同部分采样的等距点对之间感知差异的一致性。在一个统一的scale中，等距的点对应该表现出相等的差异。
③顺序order
是指颜色在color scale中遵循自然的发展过程。对于某些颜色比例，当以比例格式查看时(例如，在legend中)，顺序很容易被感知，但是在colormap格式查看时，顺序很难被感知，特别是当颜色的位置被打乱时。
(2)根据数据和任务选择color scale：
需要考虑数据两种属性：
①底层数字尺度的格式(例如，顺序或发散)：
人们普遍认为，从低到高的顺序数据应该用从亮到暗或从暗到亮的顺序色标来表示。相比之下，具有有意义的中点(例如，中性或平均)的发散数据，应该用具有清晰感知中点(例如，具有无色中点的饱和度渐变)的发散色标度来表示
②空间频率组成：
该篇论文引用的一篇文章中说明了建议使用亮度变化的color scale来显示高空间频率图案（精细细节），使用色调和饱和度变化的color scale来显示低空间频率图案。然而，最近的证据表明，色调变化有助于观察者在高空间频率时感知梯度。
在解释colormap时，人们会执行不同的任务，包括检测表面结构和识别特定数量。研究人员提出，与色阶在色调上的变化相比，当色阶在亮度上单调变化时，人们更善于检测标量场彩色地图的表面结构。
相比之下，当色阶在色调上变化时，人们更善于识别特定的数量，而不是仅仅在亮度上变化。基于这些发现，一些人认为在色调变化的同时亮度也单调变化的“冗余”色阶对于不同类型的任务是稳健的。
(3)在colormap可视化中编码语义。
一旦选择了适合任务和数据的精心设计的color scale，就必须决定如何将感知维度从color scale映射到由数据表示的概念维度。是否应该将数据中的较大数量映射到较暗的颜色？为了更高的对比度？更不透明的颜色？
①Dark-is-more bias
早期地图学的经验工作表明dark-is-more bias是具有主导型的。当呈现没有legend（图例）的choropleth colormaps时，参与者推断较暗的区域代表较大的数量。
Choropleth map即分级统计图/（专题地图）。在整个制图区域的若干个小的区划单元内（行政区划或者其他区划单位），根据各分区资料的数量（相对）指标进行分级，并用相应色级或不同疏密的晕线，反映各区现象的集中程度或发展水平的分布差别。
②Contrast-is-more bias
McGranaghan提出dark-is-more bias是 contrast-is-more bias的一种特殊的情况，在这种情况下，人们推断较深的颜色在浅色背景上对应较多的数量，而较浅的颜色在深色背景上对应较多的数量。
McGranaghan通过要求参与者解释白色、灰色和黑色背景上的专题地图来验证这一假设，当没有说明编码映射的图例时，参与者推断，在所有三种背景条件下，较深的颜色代表更大的数量，但这种效果在黑色背景下明显减弱。这些结果挑战了“contrast-is-more bias”的假设，但也挑战了“dark-is-more不受背景影响”的概念。对此，Brewer建议，虽然较高的值通常用较深的颜色表示，但只要有明确的图例指定映射，就可以在深色背景上反转这种映射。
③The role of opacity variation?
Roth等人提议使用 value-by-alpha map，大量的数量映射到最高的对比颜色。例如下图中的A,B。
在Roth等人的value-by alpha图A和B中，有两种参考颜色，饱和红色和饱和蓝色。这些颜色被内插到背景色中，这样就产生了透明度变化的中间色。这可以解释为具有最大不透明端点和最小不透明中点的发散色标度。当color scale在参考颜色和明显不同的背景颜色之间进行线性插值时，colormap的不透明度应该有所不同。
相比之下，McGranaghan的研究中使用的color scale（近似于图C和D）在颜色空间中弯曲，从而阻碍了黑白背景上不透明度的明显变化。也就是说，最亮和最暗的颜色饱和度较低，而中间亮度的颜色饱和度较高，如果两个端点都是不透明度变化的参考颜色，则不会出现这种情况。
第一行显示Roth等人在(A)白色和(B)黑色背景上绘制的按alpha值排序的地图。两个背景上的颜色图是不同的。最饱和的颜色与背景颜色内插，与透明度的明显变化一致。例如这里：值越大——越红——越饱和（）——越不透明（）
在©白色和(D)黑色背景上的颜色图是相同的。最饱和的颜色在color
scale的中间，颜色较浅，颜色较深，不饱和，与明显的不透明度变化不一致。
五、相关工作——研究的方法
三个设计实验方法的因素：
5.1 测量方法
感知特征和概念之间的推断映射通常用两种方法的其中一个进行测量。
①直接报告法:参与者被要求解释视觉化中感知特征的含义，这些特征没有图例或标签来指定正确的答案。如果没有客观正确的答案，参与者所报告的解释就会揭示他们所推断的映射。
②响应时间方法:参与者被要求在可视化中准确地解释感知特征的含义，可视化中确实有说明正确答案的图例或标签。响应时间（RT）方法依赖于以下条件:
(a)更容易解释编码映射与推断映射匹配的可视化结果
(b)更容易解释更快的RTs操作缘由。
因此，可以通过评估哪些编码映射有助于更快的RTs来了解推断映射。论文的研究者选择了该方法，并且将colormap的（响应时间）RTs与编码不同映射的图例进行了比较。
为什么选择该方法？
①如果明确要求参与者解释未标记的colormap，即使改变了背景，他们也可能会试图在整个试验中保持一致，从而使得结果不当。论文研究者认为McGranaghan可能已经发现，dark-is-more bias 减弱了，但在黑背景下并没有逆转，因为参与者试图在不同的背景条件下做出一致的反应。
②colormap通常具有指定编码映射的图例或标签，试图在通常观察到它们的条件下研究colormap
5.2 使用合成数据
合成数据指的是由计算机使用人为手段生成的数据，而不是从现实世界的环境中测量和收集的数据。这一数据是匿名的，并且是基于用户指定的参数而创建的，因此可以尽可能地和现实情境下的数据有着相同的特征。
使用合成数据来构建用作测试刺激的数据可视化，从而能够对刺激参数进行严格控制。使用了一个虚构的故事，解释说这些数据是关于在Sparl星球上看到的外星动物的，以防止参与者对与“产生”数据的主题相关的颜色有先入为主的概念。
这里也涉及到一个语义上下文的开放性问题：
在目前的研究中，明确地使用了关于外星动物的虚构数据，以防止参与者使用颜色和主题内容之间的先前关联(即(如外来动物)，以告知他们的判断。然而，人们确实对特定对象有很强的颜色概念关联，这影响了他们在信息可视化中对颜色含义的推断。基于这一逻辑，也存在直观的颜色编码为环境科学创建了color scale(例如，水的蓝色标度，植被的绿色标度，以及地球的棕色/黄色/红色标度)。
5.3 指定颜色以生成彩色地图（略，不重要）
六、实验
6.1 实验一
研究目标：评估了当使用可视化标准的各种color scale构建颜色映射时，背景颜色如何影响推断的映射
研究内容：参与者看到了外星动物目击事件的colormap，并报告了当天早晚是否有更多的目击事件。我们对编码映射进行了更改，使得图例指定，在一半的试验中，较深的颜色意味着更多的数量映射（dark-more encoding），而较浅的颜色意味着在另一半中有更多的观察（light-more encoding）。通过识别哪些编码条件导致更快的RTs，研究者了解了人们推断的映射。
研究设计：
每个试验的显示都包含一个colormap数据可视化，并有一个说明说明编码映射(dark-more或light-more)。colormap可视化是一个以屏幕为中心的8×8网格。代表虚构的外星动物物种，列代表一天的时间，每个小方格的颜色对应于每个时间点上每只动物出现的频率。为了帮助参与者将看到的时间分为早到和晚到，左边的四列被标记为“早”，右边的四列被标记为“晚”。
使用四种不同的color scale生成颜色图：Autumn、Hot、Gray和ColorBrewer Blue。用于生成颜色映射的数据是从添加了正常采样噪声的反正切曲线采样的。为了生成彩色地图每一行的数据，将弧切曲线离散为八个存储单元，对应于彩色地图显示中的八列。
共有20种颜色映射条件（5个色阶×2个背景色×2个左右平衡）。对于每个colormap条件，创建了20个不同的colormaps，其中包含使用上述采样过程生成的唯一数据集。这使我们能够重复相同的条件20次，而不让参与者看到相同的图像，这有助于防止他们记忆的模式。参与者看到了400幅独特的彩色地图图像。
参与者任务：他们的任务是通过按向左或向右箭头键来指示一天中是早（左）还是晚（右）有更多的动物。他们被要求在保持准确性的同时尽快做出回应。他们被告知每次出错都会播放一个音调，并且会定期通知他们其准确性。
实验结果：
（A） 平均RTs为“多亮”编码（亮条）和“多暗”编码（暗条），由背景色（x轴）和色阶（单独的绘图）分隔。沿x轴的图标表示每个条件的示例颜色映射（注意：在这些示例中，较暗的区域在右侧，但在实验中，较暗的区域是左/右平衡的）。误差条表示平均值的正负标准误差。
（B） CIELAB空间中每个color scale（正方形）的绘图以及最高对比度颜色和白色背景（圆形）之间的插值。
（C）
从B对应的黑色背景图。在B和C中，每张图上方的数字是不透明度变化指数 图A显示了dark-more encoding和light-more encoding映射的平均RTs，被color scale和背景隔开，但在图例文本位置上取平均值。总的来说，dark-more encoding比light-more encoding快，白背景比黑背景快。RTs也在不同的colorscale上变化（Autumn最快，Gray最慢，中间有Hot的和 Blue）
对于推断的映射如何依赖于背景的问题来说，编码的明度映射、背景和色阶之间存在着一种三向交互作用.
为什么背景有不同的效果取决与于color scale？一种可能性是，color scale的透明度变化程度不同。通过观察图A中沿x轴的彩色地图，可以观察到灰色的彩色地图在透明度上似乎有所变化，蓝色的彩色地图在透明度上似乎有所变化，而秋季和高温的彩色地图在不透明度上似乎没有变化。当参考颜色与背景颜色线性插值时，会出现明显的透明度变化。
这表明我们可以根据color scale中的颜色偏离线性插值的程度来估计表观透明度变化的程度。图B-C说明了每个color scale（正方形和粗灰色线）的轨迹差异，以及color scale最高对比度颜色与白色背景（图B）和黑色背景（图C）（圆圈和细虚线）之间的线性插值。在这里，color scale被绘制在CIELAB空间的Lb平面上。请注意，Gray color scale沿着这条插值线下降，Blue沿着略微偏离该线的曲线移动，Autumn和Hot基本上偏离该线（白色背景上Autumn的偏差在La平面上更明显）
量化了这些偏差，我们称之为透明度变量指数Opacity Variation Index ，定义为log（z+1），其中z是色阶中每个点与最高对比度颜色与背景之间的直线之间的均方根误差（RMS）。使用对数均方根，是因为推断，与直线的小偏差会强烈影响透明度的明显变化，但随着透明度的明显变化被打破，进一步增加偏差的效果应该会趋于平稳。在图B和C中，每个背景上每个 color scale的不透明度变量指数显示在每个图的上方。透明度变量指数值越小，与直线的偏差越小，表示透明度变化的越容易被感知。
研究检验了透明度变量指数是否可以解释在color scale上的darkmore编码和light-more编码的RTs的相对差异。下图显示了每种颜色标度的平均RT差异(darkmore编码- light-more编码)，它是白色和黑色背景的透明度变量指数的函数
图中每种color scale的平均RTs（dark-more encoding–light-more encoding）差异，绘制为白色（左侧）和黑色（右侧）背景的对数不透明度变化指数的函数。负差异分表明dark-more encoding的RTs更快，与dark-is-more bias一致，而正差异分表明light-more encoding的RTs更快。最佳拟合回归线（黑线）的斜率与 opaque-is-more bias相一致，除了dark-is-more bias. 。
不透明度的变化促使相对更快的RTs ： dark-more encoding在白色背景(黑暗相当于不透明)，和 light-more encoding在黑色背景(浅色相当于不透明)。
实验结论：综上所述实验1表明，当color scale在不透明度上没有变化时，无论背景如何，推断出的映射都被dark-is-more bias所主导。然而，随着不透明度变化证据的增加，推断的映射越来越多地受到opaque-is-more bias的影响。当背景为白色时，“opaque-is-more bias”强化了“dark-is-more bias”。，更快的RTs体现在dark-more encoding。当背景是黑色时，opaque-is-more bias相矛盾，从而抑制了dark-is-more bias。
6.2 实验二
研究目标：验证 “存在opaque-is-more bias” 的假设
研究内容：参与者看到了由三种不同的color scale生成的colormap，它们是黑-白(类似于实验1中的灰色)、黑-蓝和蓝-白之间的线性插值。这些颜色图以三种可能的背景色呈现:黑色、蓝色和白色。因此，对于每个color scale，都有两个背景，其中color scale的不透明度似乎有所不同，一个是暗的，一个是亮的，还有一个颜色刻度的不透明度似乎没有变化。
(A)实验2中测试的三种color scale和三种背景的CIELAB坐标。color
scale是白色和黑色、白色和蓝色、黑色和蓝色背景色之间的插值。
(B)以a中的三种color
scale和三种背景生成的颜色图为例。在这里，每个背景都呈现相同的颜色图进行直接比较，但是在实验中，参与者在不同的背景上看到了由相同的color
scale生成的不同的colormap。每个颜色标度出现在与其最亮端点(颜色越深表示越不透明)、最暗端点(颜色越浅表示越不透明)或两个端点都不匹配的背景上(正对角;不应该出现不透明度的变化)。
研究设计：
实验2的设计和显示与实验1相似，只是测试了三种不同的color scale(黑-白，黑-蓝，蓝-白)出现在三种可能的背景(黑，白，蓝)上。
实验结果：
图显示了dark-more encoding和 light-more encoding的亮度映射的平均RTs，由color scale和背景分隔，平均在图例文本位置上。
总的来说，对于深色编码的RTs比浅色编码的RTs要快，但是这种效果会随着背景的不同而变化。
在查看图中的数据时，有一个结果似乎与我们前面描述的预测相违背。在黑色背景上的蓝白色color scale似乎没有dark-is-more bias，即使蓝白色color scale在黑色背景上的不透明度不应该出现变化。这一结果可能是由于从其他试验的黑色背景的遗留效应。在其他的试验中，color scale在不透明度上确实有所不同，较浅的颜色看起来更不透明。这导致了相互竞争的“opaque-is-more bias”和“dark-is-more bias”的偏见，这减轻了对黑色背景的dark-is-more bias。
实验结论：实验2的结果支持了opaque-is-more bias的存在。当color scale在不透明度上出现变化时，RTs对于在浅色背景上进行dark-more encoding和在深色背景上进行light-more encoding速度更快。当color scale在不透明度上没有变化时，在dark-more encoding 的RTs通常会更快，这与dark-is-more bias是一致的。
七、讨论与总结
本研究的目的是了解在何种情况下，人们推断的颜色-数量映射的colormap数据可视化受到背景颜色的影响
关于背景的作用，现有的文献描绘了一幅混乱的，有时是相互矛盾的画面。例如，在该篇论文引用的文献中：
①Cuff在不考虑背景颜色的情况下提供了证据，证明了“dark-is-more bias”
②McGranaghan认为存在一个 contrast-is-more bias，但当他改变背景颜色时， dark-is-more bias更持久，尽管在深色背景下有所减少。这个结果挑战了单纯的“contrast-is-more bias”的形式，但也暗示了除了“dark-is-more bias”之外，还有更多的颜色-数量映射需要推断。
③Roth等人提出使用value-by-alpha maps，它用更高的对比度和更不透明的颜色来编码更大的数量。这包括在较暗的背景上用较浅的颜色编码较大的数量。基于McGranaghan的发现，人们可能会认为这种在黑暗背景上的光更多的编码与人们推断的映射相矛盾。尽管如此，Roth等人在暗色背景上用更亮、更不透明的颜色编码更多数量的插图似乎很有说服力，尽管这还没有经过实际测试。
目前的结果澄清了这种混淆。背景颜色对人们推断的颜色-数量映射的影响程度依赖于透明度的明显变化。当color scale在不透明度上没有变化时，推断出的映射就会受到dark-is-more bias的影响。随着明显的不透明度变化的增加，推断的映射变得更受paque-is-more bias的影响。这些结果与解释通常用于制图学的choropleth地图相关，也与许多学科中常用的热点地图相关，包括遗传学和神经科学。
从实际的角度来看，结果表明，人们最容易解释colormap的设计是dark-is-more 和opaque-is-more bias 导致一致推断映射。当较暗、较不透明的颜色在浅色背景上映射到较大的数量时，就会发生这种情况。但是，在某些情况下，设计师可能希望在不同的背景上呈现相同的颜色图(例如，具有白色或黑色背景的幻灯片)。在这种情况下，结果建议使用dark-more encoding，避免在任何背景下出现透明度变化的颜色映射。基本上通过颜色空间的颜色映射，如HOT，不应该在任何背景上显示不透明度的变化，因为没有背景颜色可以在color scale中的所有颜色和背景颜色之间进行线性插值。
开放性问题：
①从最基本的道理来说，为什么存在“dark-is-more”和“opaque-is-more”的偏见？在透明溶液中，随着色素化学物质浓度的增加，其不透明度和数量之间的关系也会发生变化(比尔-朗伯定律)。这些偏见也可能与数据可视化和地图制作中的惯例有关，特别是考虑到在20世纪早期中，dark-is-more 成为可视化统计的标准。为了评估这些偏见是否来自可视化惯例，研究一个没有接触过抽象数据表示的种群将是有帮助的。如果你是对神经学科的研究者来研究，有可能他们会偏向于light-more
②人群种类分布影响？对于不同年龄段的人，肯定是存在不同的感知与认知能力的。
最终结论：
论文研究了colormap数据可视化中的视觉特征如何影响人们推断的颜色-数量映射。报告的证据支持两种不同类型的推断映射:dark-is-more 和opaque-is-more bias。在很久以前的文献中就已经建立了“dark-is-more”的偏见，但是推断出的映射是何时以及如何被背景颜色调节的仍然是个谜。
研究发现背景的作用随着不透明度的明显变化而增加。当colormap在不透明度上没有变化时，推断出的映射就会受到“dark-is-more bias”的影响，并且不受背景的影响。当不透明度有明显的变化时，就会出现“opaque-is-more bias”，这种偏置可以限制甚至覆盖在深色背景上呈现的colormap的dark-is-more bias。
我们的研究结果表明，为了理解人们是如何理解可视化的，有必要理解低级的感知处理(例如，支持不透明度明显变化的条件)，以及这些感知如何映射到可视化中表示的认知构造。