将环境变量设置为较大的值->“参数列表太长”

Question

在 bash 脚本中，我设置了一个环境变量来包含一百万个字符的字符串。我是这样做的：

export LG=XXXXXXX # ... 1 million X's

紧接着，我可以毫无问题地回显它，即

echo $LG

但是，我在此之后尝试在脚本中运行的任何其他不相关命令都会失败，并出现“参数列表太长”错误。例如：

cat randomfile.txt
/bin/cat: Argument list too long

我已阅读其他建议使用 xargs 解决此类问题的帖子，但我没有成功。如果我使用除了 echo 之外的任何命令，那么即使我在设置 $LG 变量后实际上并没有使用它，也会收到“参数列表太长”错误。当然我想使用$LG变量，但是设置后不使用也会报错。

任何提示将不胜感激，谢谢！

编辑：

我试图解决的总体问题是这样的：

我有一个文本文件需要尽可能小（即几 MB）。此文本文件包含一组封装在特定网络协议中的消息（即标头、消息长度、消息本身）。消息本身可以是长度为 100 万或更多的字符串。因此，为了保持原始文件较小，而不是在文件中包含多个大消息副本，我使用了映射。 IE。如果我在消息字段中看到字母 A，然后我使用 sed 查找 A 并将其替换为 100 万个 X。像这样：

cat file.txt | sed "s/A/$LG/g"  # Replace A with 1 million X's

我最终会在一个（非常慢的）模拟器中运行它，所以我需要这个操作在尽可能少的周期内完成。换句话说，像 awk 这样的实用程序使用行程计数为 100 万的循环来动态生成 100 万个 X 会太慢。这就是为什么我认为环境变量解决方案是最好的。

Answer 1

命令行参数和环境变量都来自同一个空间池。将环境变量设置得太长，并且您不再有用于命令行参数的空间 - 甚至 xargs，它将命令行调用分解为更小的分组以尽可能放入池中，当该池是时无法运行完全满了。

所以：不要那样做。例如，您可以将数据存储在一个文件中，并在环境中导出该文件的路径。

---

顺便说一句——echo 起作用的原因是它内置在你的 shell 中。因此，

echo "$LG"

...不需要启动外部进程，因此进程启动时参数列表长度和环境大小的限制不适用。

另一方面，如果你跑了

/bin/echo "$LG"

...然后你会再次看到问题。

---

鉴于已编辑到问题中关于您实际尝试完成什么的解释，让我建议一种既不需要环境空间也不需要命令行空间的方法：

#!/bin/bash
#      ^-- also consider ksh; faster than bash, but also supports <()
#          /bin/sh is not usable here, as POSIX sh does not specify <().

lg=... ## DO NOT USE export HERE!
sed -f <(printf '%s\n' "s/A/$lg/g")