如何使用 tensorboard Embedding Projector？ [关闭]

Question

如何使用 Tensorboard 中包含的嵌入投影仪？

我找不到任何文档。有一些对它的引用here，但没有关于如何使用它的分步示例/教程。

Answer 1

据我所知，this 是关于在 TensorFlow 网站上嵌入可视化的唯一文档。虽然代码 sn-p 可能对第一次使用的用户不太有指导意义，所以这里是一个示例用法：

import os
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

LOG_DIR = 'logs'

mnist = input_data.read_data_sets('MNIST_data')
images = tf.Variable(mnist.test.images, name='images')

with tf.Session() as sess:
    saver = tf.train.Saver([images])

    sess.run(images.initializer)
    saver.save(sess, os.path.join(LOG_DIR, 'images.ckpt'))

这里首先我们创建一个 TensoFlow 变量 (images)，然后使用 tf.train.Saver 保存它。执行代码后，我们可以通过发出tensorboard --logdir=logs 命令并在浏览器中打开localhost:6006 来启动TensorBoard。

然而，这种可视化并不是很有帮助，因为我们看不到每个数据点所属的不同类。为了将每个类与另一个类区分开来，应该提供一些元数据：

import os
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
from tensorflow.contrib.tensorboard.plugins import projector


LOG_DIR = 'logs'
metadata = os.path.join(LOG_DIR, 'metadata.tsv')

mnist = input_data.read_data_sets('MNIST_data')
images = tf.Variable(mnist.test.images, name='images')

with open(metadata, 'w') as metadata_file:
    for row in mnist.test.labels:
        metadata_file.write('%d\n' % row)

with tf.Session() as sess:
    saver = tf.train.Saver([images])

    sess.run(images.initializer)
    saver.save(sess, os.path.join(LOG_DIR, 'images.ckpt'))

    config = projector.ProjectorConfig()
    # One can add multiple embeddings.
    embedding = config.embeddings.add()
    embedding.tensor_name = images.name
    # Link this tensor to its metadata file (e.g. labels).
    embedding.metadata_path = metadata
    # Saves a config file that TensorBoard will read during startup.
    projector.visualize_embeddings(tf.summary.FileWriter(LOG_DIR), config)

这给了我们：

Answer 2

遗憾的是，我找不到更全面的文档。下面我收集所有相关资源：

• 操作方法：https://github.com/efeiefei/tensorflow_documents_zh/blob/master/get_started/embedding_viz.md
• Google 研究博客：announcement 和 animation
• 论文：https://arxiv.org/pdf/1611.05469v1.pdf
• 来源：https://github.com/tensorflow/embedding-projector-standalone
• 2017 TF 开发者峰会tutorial 和code
• Issue#6322有一些指针和例子

PS：谢谢你给我点赞。现在我可以发布所有链接了。

2019 年 8 月更新

现在您可以通过 PyTorch 的 SummaryWriter 在 Colab 中轻松使用 Embedding Projector

import numpy as np
import tensorflow as tf
import tensorboard as tb
tf.io.gfile = tb.compat.tensorflow_stub.io.gfile
from torch.utils.tensorboard import SummaryWriter

vectors = np.array([[0,0,1], [0,1,0], [1,0,0], [1,1,1]])
metadata = ['001', '010', '100', '111']  # labels
writer = SummaryWriter()
writer.add_embedding(vectors, metadata)
writer.close()
%load_ext tensorboard
%tensorboard --logdir=runs

2020 年 2 月更新

%tensorboard 魔法现在再次正常工作。

Answer 3

@Ehsan
你的解释非常好。这里的关键是每个变量都必须在 saver.save(...) 调用之前初始化。

@大家
此外，张量板嵌入只是可视化保存的变量类的实例。它不关心是文字还是图像或其他任何东西。

官方文档https://www.tensorflow.org/get_started/embedding_viz并没有指出它是矩阵的方向可视化，在我看来，这引入了很多混乱。

也许您想知道将矩阵可视化是什么意思。矩阵可以解释为空间中点的集合。

如果我有一个形状为 (100, 200) 的矩阵，我可以将其解释为 100 个点的集合，其中每个点有 200 个维度。换言之，200 维空间中的 100 个点。

在 word2vec 的例子中，我们有 100 个词，每个词用一个 200 长度的向量表示。 Tensorboard embedding 只是使用 PCA 或 T-SNE 来可视化这个集合（矩阵）。

因此，您可以通过任何随机矩阵。如果您通过具有形状 (1080, 1920) 的图像，它会将该图像的每一行可视化，就好像它是一个点一样。

话虽如此，您可以通过简单地保存然后来可视化任何变量类实例的嵌入 saver = tf.train.Saver([a, _list, of, wanted, variables]) ...some code you may or may not have... saver.save(sess, os.path.join(LOG_DIR, 'filename.ckpt'))

稍后我会尝试做一个详细的教程。

Answer 4

听起来您想获得在 TensorBoard 上运行 t-SNE 的可视化部分。正如您所描述的，Tensorflow 的 API 仅在 how-to document 中提供了最基本的命令。

我已将我的工作解决方案与 MNIST 数据集上传到 my GitHub repo。

原始 Stackoverflow 答案：TensorBoard Embedding Example?