Bazel 在宏中组合多个规则

Question

我的项目结构中有多个子模块，这些子模块本质上也是属于它们自己的项目的文件夹。

对于给定的 python 项目，每个项目都有子项目。我希望能够编写一个宏来创建一组要对给定子项目执行的操作。

在 WORKSPACE 中基本上是这样的：

load("@io_bazel_rules_python//:python/pip.bzl",
   "pip_import"
)

pip_import(
   name = "foo",
   requirements = "@subprojectname//:requirements.txt",
)

load("@foo//:requirements.bzl", "pip_install")
pip_install()

我想为多个子项目执行上述操作。但是，如果我将所有代码放入 bzl 文件中的函数中。

pyrules.bzl

load("@io_bazel_rules_python//:python/pip.bzl",
   "pip_import"
)


def doit(name):
    pip_import(
       name = "foo",
       requirements = "@{repo}//:requirements.txt".format(repo=name)
    )

    load("@foo//:requirements.bzl", "pip_install")
    pip_install()

由于“'load' 处的语法错误：预期表达式”，我无法使用第二个加载命令。如果没有将多个 bzl 文件加载到父 WORKSPACE 中，还有其他方法可以创建可重用的逻辑块吗？

更新 1。 评论要求提供有关工作流程的更多信息。警告，对于 Bazel 似乎在其他地方（即不是 monorepo）的使用方式，我有一个非标准的布局。但它应该有类似的实际布局。

项目布局如下：

projectname/
    WORKSPACE
    BUILD
    src/
       stuff
    submodule/ # < git modules that are checked out into folder
        subproject1/
            BUILD
            src/
                stuff
        subproject2/
            BUILD
            src/ 
                stuff

首先，我在 WORKSPACE 中加载了一个 repository_rule，它会在子模块文件夹中找到所有项目并将它们添加为存储库。在子项目中，其中一些是 python。我想加载它的 requirements.txt 文件。因此，这些 requirements.txt 文件在哪里以及对它们进行 pip 安装的总体问题。理想情况下，我希望子项目 BUILD 文件中的 py_library 定义知道子项目的需求文件存在依赖关系，但这可能无关紧要，因为父 BUILD 文件是唯一创建 par_binaries 等等的东西，所以只要 pip_install 和设置依赖项发生，项目本身应该是可用的。

Bazel 似乎不允许子项目像上面的 pip_install 那样定义自己的存储库操作。我认为这是因为您不能在 BUILD 文件中进行存储库操作，并且子 WORKSPACE 文件似乎没有任何效果。所以我最终不得不将它添加到父 WORKSPACE 文件中。

如果它在父 WORKSPACE 中，我必须复制粘贴我要使用的每个子项目的 pip 操作。但是，我更愿意设置一个通用规则来定位需求文件并 pip 安装它们。然而，试图从中创建一个宏意味着我不能在其中使用 load 调用。所有 pip 操作似乎都需要与存储库操作进行交互，然后只需要从父 WORKSPACE 文件中调用这些操作。

Answer 1

对于这种情况，似乎没有任何合理的解决方案。但是，我认为重要的是要意识到如果您愿意在内部支持您所依赖的规则，则可以对其进行修改。我最终修改了 rules_python 存储库中的 piptool.py 以在一次调用中添加对多个 requirements.txt 文件的支持。然后将以下规则添加到我自己在内部使用的规则存储库中。

#
# Python
#

def _pip_import_requirements_impl(repository_ctx):
  """Core implementation of pip_import."""
  # Add an empty top-level BUILD file.
  # This is because Bazel requires BUILD files along all paths accessed
  # via //this/sort/of:path and we wouldn't be able to load our generated
  # requirements.bzl without it.
  repository_ctx.file("BUILD", "")

  # To see the output, pass: quiet=False
  result = repository_ctx.execute([
    "python3", repository_ctx.path(repository_ctx.attr._script),
    "--name", repository_ctx.attr.name,
    "--input"
    ] +
    [repository_ctx.path(r) for r in repository_ctx.attr.requirements] +
    [
      "--output", repository_ctx.path("requirements.bzl"),
      "--directory", repository_ctx.path("")
    ],
  quiet = repository_ctx.attr.quiet)

  if result.return_code:
    fail("pip_import failed: %s (%s)" % (result.stdout, result.stderr))


pip_import_requirements = repository_rule(
  attrs = {
    "quiet" : attr.bool(default = False),
    "requirements": attr.label_list(
       allow_files = True,
       mandatory = True,
     ),
     "_script": attr.label(
       executable = True,
       default = Label("@io_bazel_rules_python//tools:piptool.par"),
       cfg = "host",
     ),
  },
  implementation = _pip_import_requirements_impl,
)

然后我可以在我的 WORKSPACE 中执行以下操作。

pip_import_requirements(
  name = "py_requirements",
  requirements = [
    "@mycore//:requirements.txt",
    "@myother//:requirements.txt"
  ]
)

load(
    "@py_requirements//:requirements.bzl",
    "pip_install",
)

pip_install()

以及我碰巧需要的任何 BUILD 文件中的以下内容。请注意，py_requirements 引用将始终可用于项目中的任何 BUILD 文件。

load(
    "@py_requirements//:requirements.bzl",
    "all_requirements"
)

par_binary(
    name = "funkyserver",
    main = "src/main.py",
    srcs = glob(["src/**/*.py"]),
    deps = [
        "@mycore//:core",
        "@myother//:other"
    ] + all_requirements,
)

对于 piptool.py。您需要使用 rules_python 存储库中的 update_tools.sh 重建 piptool.par。

diff --git a/rules_python/piptool.py b/rules_python/piptool.py
index f5d504a..ab520d8 100644
--- a/rules_python/piptool.py
+++ b/rules_python/piptool.py
@@ -87,7 +87,7 @@ def pip_main(argv):
 parser.add_argument('--name', action='store',
                     help=('The namespace of the import.'))

-parser.add_argument('--input', action='store',
+parser.add_argument('--input', action='store', nargs='+',
                     help=('The requirements.txt file to import.'))

 parser.add_argument('--output', action='store',
@@ -154,7 +154,8 @@ def main():
   args = parser.parse_args()

   # https://github.com/pypa/pip/blob/9.0.1/pip/__init__.py#L209
-  if pip_main(["wheel", "-w", args.directory, "-r", args.input]):
+  if pip_main(["wheel", "-w", args.directory] + [p for x in [
+      ('-r',  i) for i in args.input] for p in x]):
     sys.exit(1)

   # Enumerate the .whl files we downloaded.
@@ -219,7 +220,7 @@ def requirement(name):
   if name_key not in _requirements:
     fail("Could not find pip-provided dependency: '%s'" % name)
   return _requirements[name_key]
-""".format(input=args.input,
+""".format(input=" ".join(args.input),
            whl_libraries='\n'.join(map(whl_library, whls)) if whls else "pass",
            mappings=whl_targets))