如何让 argparse 使用选项而不是前缀从文件中读取参数

Question

我想知道如何使用 python 的 argparse 模块从命令行和可能的文本文件中读取参数。我知道 argparse 的 fromfile_prefix_chars 但这并不是我想要的。我想要这种行为，但我不想要语法。我想要一个看起来像这样的界面：

$ python myprogram.py --foo 1 -A somefile.txt --bar 2

当 argparse 看到 -A 时，它应该停止从 sys.argv 或我给它的任何内容中读取，并调用我编写的函数来读取 somefile.text 并返回参数列表。当文件用完时，它应该继续解析 sys.argv 或其他什么。文件中参数的处理顺序是很重要的（即：-foo应该被处理，然后是文件中的参数，然后是-bar，这样文件中的参数可以覆盖--foo，并且-- bar 可能会覆盖文件中的内容）。

这样的事情可能吗？我可以编写一个自定义函数，将新参数推送到 argparse 的堆栈中，或者类似的东西吗？

Answer 1

您可以使用自定义argparse.Action 来解决此问题，该argparse.Action 打开文件，解析文件内容，然后添加参数。

例如，这将是一个非常简单的操作：

class LoadFromFile (argparse.Action):
    def __call__ (self, parser, namespace, values, option_string = None):
        with values as f:
            # parse arguments in the file and store them in the target namespace
            parser.parse_args(f.read().split(), namespace)

你可以这样使用：

parser = argparse.ArgumentParser()
# other arguments
parser.add_argument('--file', type=open, action=LoadFromFile)
args = parser.parse_args()

args 中生成的命名空间还将包含同样从文件加载的任何配置，其中文件包含与命令行相同语法的参数（例如 --foo 1 --bar 2）。

如果您需要更复杂的解析，您也可以先单独解析文件内配置，然后有选择地选择应该接管哪些值。例如，由于参数是按照指定的顺序进行评估的，因此防止文件中的配置覆盖已在命令行上明确指定的值可能是有意义的。这将允许使用默认配置文件：

def __call__ (self, parser, namespace, values, option_string=None):
    with values as f:
        contents = f.read()

    # parse arguments in the file and store them in a blank namespace
    data = parser.parse_args(contents.split(), namespace=None)
    for k, v in vars(data).items():
        # set arguments in the target namespace if they haven’t been set yet
        if getattr(namespace, k, None) is not None:
            setattr(namespace, k, v)

当然，你也可以让文件读取复杂一些，比如先从 JSON 读取。

Answer 2

你评论说

我需要能够编写自己的函数来读取该文件并返回参数（它不是每行一个参数的格式）–

现有的前缀文件处理程序中有一项规定可以更改文件的读取方式。该文件由“私有”方法parser._read_args_from_files 读取，但它调用一个简单的公共方法，将行转换为字符串，默认为每行一个参数操作：

def convert_arg_line_to_args(self, arg_line):
    return [arg_line]

它是这样编写的，因此您可以轻松自定义它。 https://docs.python.org/3/library/argparse.html#argparse.ArgumentParser.convert_arg_line_to_args

此方法的一个有用的替代方法是将每个空格分隔的单词视为一个参数：

def convert_arg_line_to_args(self, arg_line):
    for arg in arg_line.split():
        if not arg.strip():
            continue
        yield arg

在test_argparse.py unittesting 文件中，有一个用于此替代方案的测试用例。

---

但如果您仍想使用参数选项而不是前缀字符来触发此读取，那么自定义 Action 方法是一个不错的方法。

您可以编写自己的函数来处理argv，然后再将其传递给parser。可以仿照parser._read_args_from_files。

所以你可以编写如下函数：

def read_my_file(argv):
    # if there is a '-A' string in argv, replace it, and the following filename
    # with the contents of the file (as strings)
    # you can adapt code from _read_args_from_files
    new_argv = []
    for a in argv:
        ....
        # details left to user
    return new_argv

然后调用你的解析器：

parser.parse_args(read_my_file(sys.argv[1:]))

是的，这可以封装在 ArgumentParser 子类中。

Answer 3

Action 在调用时会在其参数中获得 parser 和 namespace。

所以你可以把你的文件通过前者来更新后者：

class ArgfileAction(argparse.Action):
    def __call__(self, parser, namespace, values, option_string=None):
        extra_args = <parse_the_file>(values)
        #`namespace' is updated in-place when specified
        parser.parse_args(extra_args,namespace)