TensorFlow Serving Batching 参数答案

【问题标题】：Tensorflow Serving Batching parametersTensorFlow Serving Batching 参数
【发布时间】：2017-03-06 21:26:58
【问题描述】：

如何使用max_batch_size、batch_timeout_micros、num_batch_threads等参数对批处理进行性能调优？尝试将这些参数与 Query 客户端一起使用，它不起作用。

在下面的示例中，我有 100 张图片，我希望批量处理 10 张图片。查询运行的是所有图片而不是 10 张。

bazel-bin/tensorflow_serving/example/demo_batch --server=localhost:9000 --max_batch_size=10

另外，对于批处理调度，如何使其在第一批完成后每 10 秒运行一次？谢谢。

【问题讨论】：

标签： tensorflow tensorflow-serving

【解决方案1】：

我也遇到了和你一样的问题。

我查看了 tf-serving 的源代码，这些参数在一个 protobuf 文件中，定义在：

serving/tensorflow_serving/servables/tensorflow/session_bundle_config.proto

我在以下位置找到了示例 conf 文件：

serving/tensorflow_serving/servables/tensorflow/testdata/batching_config.txt

而且我相信你可以按照 batching_config.txt 格式，参数配置应该可以工作。

希望对你有帮助。

max_batch_size { value: 1024 }
batch_timeout_micros { value: 0 }
max_enqueued_batches { value: 1000000 }
num_batch_threads { value: 8 }
allowed_batch_sizes : 1
allowed_batch_sizes : 2
allowed_batch_sizes : 8
allowed_batch_sizes : 32
allowed_batch_sizes : 128
allowed_batch_sizes : 256
allowed_batch_sizes : 512
allowed_batch_sizes : 1024

【讨论】：