【问题标题】:Can one commandline argument's `type` be dependent on the value of another argument with argparse?一个命令行参数 `type` 是否可以依赖于 argparse 的另一个参数的值?
【发布时间】:2021-07-05 00:02:26
【问题描述】:

我正在编写一组可以解析多种输入格式的 python 脚本,但是这些输入的 type 是由另一个命令行参数决定的。如何让一个参数影响另一个参数的类型?

展示我想要的行为的示例:

import argparse

def load_single_file(filepath: str):
    ...

def load_directory(filepath: str):
    ...

parser = argparse.ArgumentParser()
parser.add_argument('--type', choices=('single-file', 'directory'), required=True)
parser.add_argument('input', type=load_single_file if '--type' == 'single-file' else load_directory)

我不想对parser.parse_args() 进行后期处理,因为我正在编写大量脚本,所有这些脚本都需要这种输入样式,但其中一些可能会以不同的方式使用它们的'input' 参数(例如一个可能需要两个这样的参数,一个可能是input1 3 4 randomInfo input2--first input1 --second input2 等)这意味着如果我在后处理中这样做,我通常无法知道应该解析哪些参数:

# This doesn't work:
def parse_args(parser):
    parser.add_argument('--type', choices=('single-file', 'directory'), required=True)
    args = parser.parse_args()

    parser = load_single_file if args.type== 'single-file' else load_directory
    # Which elements of `args` should have `parser` applied to it? It's impossible to tell.
    # I cannot just specify `'input'` here too, as some scripts may want multiple or interspersed inputs.

我可以将这种行为收集到一个函数中对我来说也很重要,因为我有几个参数(不仅仅是--type)会影响解析数据的方式(例如--filter 过滤掉一些数据)


总结:

  • 给定--type Valueinput 应根据Value 进行不同的解析
  • 我不想通过后处理 parse_args() 来处理这种不同的解析,因为这需要了解我的“库”中没有的特定脚本的参数。
  • 我正在编写大量密切相关的脚本,都需要这个接口,这就是为什么我想抽象出一个通用的parse_args(parser)或类似的函数。

【问题讨论】:

  • type函数执行时,无法访问namespace,因此无法检查其他参数的值。并且不能保证首先给出'--type'。认真重新审视解析后的选项。还有load_fileload_dirctectory 听起来像是对名称的操作,而不是简单的字符串转换和测试(如int)。即使是内置的 File_Type` 类也更适合小脚本,而不是大脚本。
  • type 函数接受一个字符串,并且应该返回一个新对象以放入 args 命名空间对象(或引发错误)。最常用的是intfloatFileType 返回打开的 file 对象(未加载),用于快速输入/输出脚本。它并没有很好地老化,因为现在 Python 建议在 with 上下文中打开文件,一旦加载完成就可以关闭它们。 argparse 并非旨在成为一个无所不能的工具。它的主要目的是解析用户输入,方便错误和帮助。
  • @hpaulj 我愿意在后期处理中这样做,但前提是我可以解决知道args 命名空间对象的哪些 元素应该是的问题后处理...

标签: python python-3.x argparse


【解决方案1】:

我看不出有什么问题:

 def parse_args():
      parser = argparse.ArgumentParser()
      parser.add_argument('--type', choices=('single-file', 'directory'), required=True)
      parser.add_argument('input', type=load_single_file if '--type' == 'single-file' else load_directory)
      args = parser.parse_args()
      # print(args) # for debugging
      foo = load_single_file(args.input) if args.type=='single-file' else load_directory(args.input)
      args.input = foo    # if you want that result back on args
      return args

如果您在创建parser 时知道input 依赖于type,那么之后您也会立即知道这一点。

了解您的 load 函数的作用可能会提供进一步的见解。期望type 函数将执行简单的转换,或在出现错误时引发错误(TypeErrorValueErrorargparse.ArgumentTypeError)。 argparse.FileType 可能是 argparse 开发人员考虑过的最复杂的可调用类型,即使这样也没有很好地老化。它所做的只是打开一个文件,但现在我们鼓励在with 上下文中打开文件,以确保及时关闭。

我的代码没有做的一件事是捕获错误(如果有)。它可以包裹在try/except 中。您甚至可以使用parser.error(your-message) 以标准格式(带退出)显示错误。

无论如何,type 只用一个参数调用,一个字符串。它无法访问当时解析器内部正在发生的任何其他事情,甚至无法访问 args 命名空间。 argparse 的基本理念是按照用户提供的顺序解析参数。 Positionals 显然是顺序依赖的,但是标记的 (optionals) 是顺序无关的,所以实现相互依赖是很尴尬的。 multually_exlusivexor 依赖关系是它得到的最复杂的。

其他 SO 问题要求相互依赖的 requireddefault 属性。答案提出了双重解析或自定义Action类,但在我看来,后解析总是最简单的。

双重解析确实有它的用途。例如,我编写了parser.parse_intermixed_args 方法,以便在混合位置和可选时提供更大的灵活性。请自行研究argparse.py 文件。

【讨论】:

  • 这种方法的问题是parse_args() 不知道需要加载哪些参数。可能是args.input,可能是args.firstargs.second,但不应该是args.something_else,等等。
  • 如果要加载不同的参数集,请使用子命令/子解析器机制。
  • 我并不是想在一个脚本中加载不同的参数集。我正在编写几十个脚本,它们可以有不同的参数集(每个都可以控制自己的参数解析器)。
  • 我最终同意你的观点,强制这种行为进入type 是有问题的。我目前正在计划parse_args(parser, 'name', 'of', 'args', 'which', 'need', 'parsing')
【解决方案2】:

您可以通过两次解析参数并设置全局来获得此行为:

# Use for type=parse_input
def parse_input(str, parse_fn=None):
    if parse_fn is None:
        parse_fn = parse_input.parse_fn

    return parse_fn(str)

def parse_args(parser):
    def add_args(parser, required):
        parser.add_argument('--type', choices=('single-file', 'directory'), required=required)

    # No --help, because we want to get the --help for `parser` if so
    initial_parser = argparse.ArgumentParser(add_help=False)
    # Any required arguments should be set to False so that we can get the message from `parser`
    add_args(initial_parser, required=False)
    first, rest = initial_parser.parse_known_args()

    # Note: if you use prefix_chars, these won't necessarily be `-h` and `--help`.
    # Use:
    # if '-' in parser.prefix_chars:
    #     p = '-'
    # else:
    #     p = parser.prefix_chars[0]
    # And:
    #   f'{p}h', f'{p}{p}help'
    if all(h not in rest for h in ('-h', '--help')):
        parse_input.parse_fn = load_single_file if first.type== 'single-file' else load_directory
    else:
        # Allow better error message if parse_fn is missing
        parse_input.parse_fn = lambda s: s

    add_args(parser, required=True)
    return parser.parse_args()

用法:

parser = argparse.ArgumentParser()
parser.add_argument('input', type=parse_input)
...

args = parse_args(parser)

【讨论】:

    【解决方案3】:

    为此使用type 是有问题的。至少它更难理解且效率低下。 script --input input --help 将使用 parse_input 函数解析 input before argparse 意识到有一个 --help,它应该只打印帮助消息并退出。

    它不是相当那么好,但您仍然可以使用自定义 parse_args(...) 函数来获得此行为,该函数添加库标志,但也接受名称以使用 parse_input 作为范围。这还有一个额外的好处,那就是在错误处理方面具有更大的灵活性:

    def parse_args(parser, *names):
        parser.add_argument('--type', choices=('single-file', 'directory'), required=True)
        args = parser.parse_args()
    
        parser = load_single_file if args.type == 'single-file' else load_directory
        args_dict = vars(args)
    
        for name in names:
            args_dict[name] = parser(args_dict[name])
    
        return args
    

    示例用法:

    parser = argparse.ArgumentParser()
    parser.add_argument('input')
    
    args = parse_args(parser, 'input')
    

    这不是完美,因为您必须在额外的位置指定'input',但代码更容易理解;没有全局变量或类似变量。

    【讨论】:

      猜你喜欢
      • 2011-03-06
      • 2016-10-26
      • 1970-01-01
      • 1970-01-01
      • 2012-08-20
      • 2015-10-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多