如何使 bazel `sh_binary` 目标依赖于其他二进制目标？

Question

我设置了 bazel 来构建许多 CLI 工具来执行各种数据库维护任务。每一个都是一个py_binary 或cc_binary 目标，从命令行调用并带有某个数据文件的路径：它处理该文件并将结果存储在数据库中。

现在，我需要创建一个依赖包，其中包含调用这些 CLI 工具来执行特定于应用程序的数据库操作的数据文件和 shell 脚本。

但是，似乎没有办法从仅包含 sh_binary 目标和数据文件的新包中依赖现有的 py_binary 或 cc_binary 目标。尝试这样做会导致如下错误：

ERROR: /workspace/shbin/BUILD.bazel:5:12: in deps attribute of sh_binary rule //shbin:run: py_binary rule '//pybin:counter' is misplaced here (expected sh_library)

有没有办法使用 sh_binary 从 shell 脚本调用/依赖现有的 bazel 二进制目标？

我在这里实现了一个完整的例子： https://github.com/psigen/bazel-mixed-binaries

---

注意事项：

我不能使用py_library 和cc_library 代替py_binary 和cc_binary。这是因为 (a) 我需要混合使用两种语言来处理我的数据文件，并且 (b) 这些工具来自已经设计好的上游存储库作为 CLI 工具。

我也无法将所有数据文件放入 CLI 工具包中——有多个特定于应用程序的包，它们不能混合使用。

Answer 1

您可以创建一个 genrule 以在构建过程中运行这些工具，也可以通过 data 属性创建一个依赖于这些工具的 sh_binary 并运行它们。

一般方法

这是一种更简单的方法，可让您在构建过程中运行这些工具。

genrule(
    name = "foo",
    tools = [
        "//tool_a:py",
        "//tool_b:cc",
    ],
    srcs = [
        "//source:file1",
        ":file2",
    ],
    outs = [
        "output_file1",
        "output_file2",
    ],
    cmd = "$(location //tool_a:py) --input=$(location //source:file1) --output=$(location output_file1) && $(location //tool_b:cc) < $(location :file2) > $(location output_file2)",
)

sh_binary 方法

这更复杂，但允许您将 sh_binary 作为构建的一部分（如果它位于 genrule.tools，类似于之前的方法）或构建之后（从 bazel-bin 下）运行。

在sh_binary 中，您必须依赖于数据工具：

sh_binary(
    name = "foo",
    srcs = ["my_shbin.sh"],
    data = [
        "//tool_a:py",
        "//tool_b:cc",
    ],
)

然后，在sh_binary 中，您必须使用 Bazel 内置的所谓“Bash 运行文件库”来查找二进制文件的运行时路径。这个库的文档是in its source file。

想法是：

1. sh_binary 必须为depend on a specific target
2. 你必须 copy-paste some boilerplate code 到 sh_binary 的顶部（原因描述为 here）
3. 然后您可以use the rlocation function 查找二进制文件的运行时路径

例如，您的my_shbin.sh 可能如下所示：

#!/bin/bash
# --- begin runfiles.bash initialization ---
...
# --- end runfiles.bash initialization ---

path=$(rlocation "__main__/tool_a/py")
if [[ ! -f "${path:-}" ]]; then
  echo >&2 "ERROR: could not look up the Python tool path"
  exit 1
fi
$path --input=$1 --output=$2

重定位路径参数中的__main__ 是工作区的名称。由于您的 WORKSPACE 文件中没有定义工作空间名称的“工作空间”规则，因此 Bazel 将使用默认工作空间名称，即 __main__。

Answer 2

对我来说更简单的方法是将cc_binary 添加为data 部分的依赖项。在prefix/BUILD

cc_binary(name = "foo", ...)
sh_test(name = "foo_test", srcs = ["foo_test.sh"], data = [":foo"])

在foo_test.sh内部，工作目录不同，所以你需要为二进制找到正确的prefix

#! /usr/bin/env bash

executable=prefix/foo

$executable ...

Answer 3

一个干净的方法是使用args and $(location):

BUILD的内容：

py_binary(
    name = "counter",
    srcs = ["counter.py"],
    main = "counter.py",
)

sh_binary(
    name = "run",
    srcs = ["run.sh"],
    data = [":counter"],
    args = ["$(location :counter)"],
)

counter.py 的内容（你的工具）：

print("This is the counter tool.")

run.sh 的内容（你的 bash 脚本）：

#!/bin/bash
set -eEuo pipefail

counter="$1"
shift

echo "This is the bash script, about to call the counter tool."
"$counter"

下面是一个演示，展示了调用 Python 工具的 bash 脚本：

$ bazel run //example:run 2>/dev/null
This is the bash script, about to call the counter tool.
This is the counter tool.

还值得一提的是这条注释 (from the docs)：

在 bazel 之外运行目标时不会传递参数（例如，通过手动执行 bazel-bin/ 中的二进制文件）。