我目前通过一堆记不太清的 AWK、sed、Bash 和一点点 Perl 来处理我的文本文件。
我已经看到一些地方提到 python 对这种事情有好处。如何使用 Python 替代 shell 脚本、AWK、sed 和朋友？
【问题讨论】：
截至 2015 年和 Python 3.4 版本，现在有一个相当完整的用户交互 shell 可用：http://xon.sh/ 或 https://github.com/scopatz/xonsh
demonstration video 不显示正在使用的管道，但在默认 shell 模式下它们是受支持的。
Xonsh ('conch') 非常努力地模仿 bash，所以你已经获得了肌肉记忆，比如
env | uniq | sort -r | grep PATH
或
my-web-server 2>&1 | my-log-sorter
仍然可以正常工作。
本教程很长，似乎涵盖了人们在 ash 或 bash 提示符下通常期望的大量功能：
? 和?? 提供帮助和超级帮助
*.xsh也可以导入的脚本${} 查找
$() 捕获的子进程，$[] 的未捕获子进程，@() 的 Python 评估
* 进行文件名通配或使用反引号进行正则表达式文件名通配【讨论】：
.xsh 扩展名：github.com/xonsh/xonsh/issues/2478。否则你必须使用evalx 直接从.py 文件中调用它。
我推荐这本很棒的在线书籍Dive Into Python。这就是我最初学习语言的方式。
除了教你语言的基本结构和大量有用的数据结构之外，它还有一个很好的章节 file handling 和后续章节 regular expressions 等等。
【讨论】：
我刚刚发现了如何结合 bash 和 ipython 的最佳部分。到目前为止，这对我来说似乎比使用 subprocess 等更舒服。您可以轻松复制现有 bash 脚本的大部分内容，例如以python方式添加错误处理:) 这是我的结果：
#!/usr/bin/env ipython3
# *** How to have the most comfort scripting experience of your life ***
# ######################################################################
#
# … by using ipython for scripting combined with subcommands from bash!
#
# 1. echo "#!/usr/bin/env ipython3" > scriptname.ipy # creates new ipy-file
#
# 2. chmod +x scriptname.ipy # make in executable
#
# 3. starting with line 2, write normal python or do some of
# the ! magic of ipython, so that you can use unix commands
# within python and even assign their output to a variable via
# var = !cmd1 | cmd2 | cmd3 # enjoy ;)
#
# 4. run via ./scriptname.ipy - if it fails with recognizing % and !
# but parses raw python fine, please check again for the .ipy suffix
# ugly example, please go and find more in the wild
files = !ls *.* | grep "y"
for file in files:
!echo $file | grep "p"
# sorry for this nonsense example ;)
在system shell commands 上查看 IPython 文档并使用它as a system shell。
【讨论】：
filelines = ! cat myfile
$var吗？哇。这应该是公认的答案。
我在 PyPI 上发布了一个包：ez。
使用pip install ez进行安装。
它在 shell 中打包了常用命令，而且我的 lib 使用与 shell 基本相同的语法。例如，cp(source, destination) 可以同时处理文件和文件夹！ （shutil.copy shutil.copytree 的包装器，它决定何时使用哪一个）。更棒的是，它可以像 R 一样支持矢量化！
另一个例子：没有 os.walk，使用 fls(path, regex) 递归查找文件并使用正则表达式进行过滤，它返回一个有或没有完整路径的文件列表
最后一个例子：您可以将它们组合起来编写非常简单的脚本：files = fls('.','py$'); cp(files, myDir)
一定要看看！我花了数百个小时来编写/改进它！
【讨论】：
您可以在 ShellPy 库中使用 python 而不是 bash。
下面是一个从 Github 下载 Python 用户头像的例子：
import json
import os
import tempfile
# get the api answer with curl
answer = `curl https://api.github.com/users/python
# syntactic sugar for checking returncode of executed process for zero
if answer:
answer_json = json.loads(answer.stdout)
avatar_url = answer_json['avatar_url']
destination = os.path.join(tempfile.gettempdir(), 'python.png')
# execute curl once again, this time to get the image
result = `curl {avatar_url} > {destination}
if result:
# if there were no problems show the file
p`ls -l {destination}
else:
print('Failed to download avatar')
print('Avatar downloaded')
else:
print('Failed to access github api')
如您所见，重音符 ( ` ) 符号内的所有表达式都在 shell 中执行。在 Python 代码中，您可以捕获此执行的结果并对其执行操作。例如：
log = `git log --pretty=oneline --grep='Create'
这一行将首先在shell中执行git log --pretty=oneline --grep='Create'，然后将结果赋给log变量。结果具有以下属性：
stdout执行过程的标准输出的整个文本
stderr来自已执行进程的stderr的整个文本
returncode 执行的返回码
这是该库的总体概述，更详细的示例说明可以在here找到。
【讨论】：
任何外壳都有几组功能。
基本的 Linux/Unix 命令。所有这些都可以通过subprocess 库获得。这并不总是执行 all 外部命令的最佳首选。另请查看 shutil 以了解一些单独的 Linux 命令，但您可能可以直接在 Python 脚本中实现。另外一大批 Linux 命令在 os 库中；您可以在 Python 中更简单地完成这些操作。
还有——奖金！ - 更快速。 shell 中的每个单独的 Linux 命令（除了少数例外）都会派生一个子进程。通过使用 Python shutil 和 os 模块，您不会派生子进程。
shell 环境特性。这包括设置命令环境的东西（当前目录和环境变量等等）。您可以直接从 Python 轻松管理。
shell 编程功能。这是所有进程状态代码检查、各种逻辑命令（if、while、for 等）、测试命令及其所有相关命令。函数定义的东西。这在 Python 中要容易得多。这是摆脱 bash 并在 Python 中实现的巨大胜利之一。
交互功能。这包括命令历史记录和其他内容。您不需要它来编写 shell 脚本。这仅用于人机交互，不适用于脚本编写。
shell 文件管理功能。这包括重定向和管道。这更棘手。其中大部分可以通过子流程完成。但是一些在 shell 中容易做的事情在 Python 中是不愉快的。特别是像(a | b; c ) | something >result 这样的东西。这将并行运行两个进程（a 的输出作为b 的输入），然后是第三个进程。该序列的输出与something 并行运行，输出被收集到一个名为result 的文件中。用任何其他语言来表达都是很复杂的。
特定程序（awk、sed、grep 等）通常可以重写为 Python 模块。不要过火。替换您需要的并改进您的“grep”模块。不要一开始就写一个 Python 模块来代替“grep”。
最好的事情是您可以分步进行。
os.walk 的 Python 循环。这是一个巨大的胜利，因为您不会产生那么多进程。【讨论】：
find 脚本的python 版本丑陋、冗长且无法维护。很多东西应该是 shell 脚本，还有很多东西不应该。并非所有东西都只需要是 Python 或 BASH（或其他任何东西）之一。
(a | b; c ) | something >result）的观点通过使用 shell=True 将 shell 管道传递给 subprocess 方法非常容易而有所缓解
pythonpy 是一个工具，可以轻松访问 awk 和 sed 的许多功能，但使用 python 语法：
$ echo me2 | py -x 're.sub("me", "you", x)'
you2
【讨论】：
我将根据经验在这里给出我的意见：
对于外壳：
对于python：
我通常会为大多数事情选择 bash，但是当我有一些必须跨越 Windows 边界的东西时，我只使用 python。
【讨论】：
我喜欢 Python 的一个原因是它比 POSIX 工具更标准化。我必须双重和三重检查每个位是否与其他操作系统兼容。在 Linux 系统上编写的程序在 OSX 的 BSD 系统上可能无法正常工作。使用 Python，我只需要检查目标系统是否具有足够现代的 Python 版本。
更好的是，用标准 Python 编写的程序甚至可以在 Windows 上运行！
【讨论】：
【讨论】：
【讨论】：
在研究这个主题时，我发现this proof-of-concept code（通过http://jlebar.com/2010/2/1/Replacing_Bash.html 的评论）让您“使用简洁的语法在 Python 中编写类似 shell 的管道，并在有意义的地方利用现有的系统工具”：
for line in sh("cat /tmp/junk2") | cut(d=',',f=1) | 'sort' | uniq:
sys.stdout.write(line)
【讨论】：
添加到以前的答案：检查pexpect 模块以处理交互式命令（adduser、passwd 等）
【讨论】：
我已经构建了半长的 shell 脚本（300-500 行）和具有类似功能的 Python 代码。当执行许多外部命令时，我发现 shell 更易于使用。当有大量文本操作时，Perl 也是一个不错的选择。
【讨论】：
一开始有 sh、sed 和 awk（还有 find、grep 和...）。这很好。但是 awk 可能是一个奇怪的小野兽，如果你不经常使用它就很难记住它。然后大骆驼创造了 Perl。 Perl 是系统管理员的梦想。这就像类固醇上的 shell 脚本。包括正则表达式在内的文本处理只是语言的一部分。然后它变得丑陋了……人们试图用 Perl 来制作大型应用程序。现在，不要误会我的意思，Perl 可以是一个应用程序，但如果你不小心的话，它会（可以！）看起来像一团糟。然后就是所有这些平面数据业务。足以让程序员发疯。
输入 Python、Ruby 等。这些确实是非常好的通用语言。它们支持文本处理，并且做得很好（尽管可能没有紧密地缠绕在语言的基本核心中）。但是它们也可以很好地扩展，并且在一天结束时仍然有漂亮的代码。他们还开发了相当庞大的社区，其中包含大量的图书馆，几乎可以满足任何需求。
现在，对 Perl 的很多负面看法都是见仁见智，当然有些人可以编写非常干净的 Perl，但是有这么多人抱怨创建混淆代码太容易了，你知道一些真相是那里。那么问题就真的变成了，你是否会使用这种语言来代替简单的 bash 脚本。如果没有，请学习更多 Perl .. 这绝对是太棒了。另一方面，如果您想要一门可以随着您做更多事情而与您一起成长的语言，我建议您使用 Python 或 Ruby。
无论如何，祝你好运！
【讨论】：
您最好的选择是专门针对您的问题的工具。如果它处理文本文件，那么 Sed、Awk 和 Perl 是最有力的竞争者。 Python 是一种通用的动态 语言。与任何通用语言一样，支持文件操作，但这不是它的核心目的。如果我特别需要动态语言，我会考虑使用 Python 或 Ruby。
简而言之，学习 Sed 和 Awk 非常好，以及所有其他与您的 *nix 风格相关的好东西（所有 Bash 内置插件、grep、tr 等等）。如果您感兴趣的是文本文件处理，那么您已经在使用正确的东西了。
【讨论】：
如果您的文本文件操作通常是一次性的，可能是在 shell 提示符下完成的，那么您不会从 python 中得到更好的结果。
另一方面，如果您通常必须一遍又一遍地执行相同（或类似）的任务，并且您必须为此编写脚本，那么 python 很棒 - 您可以轻松创建自己的库（你也可以用 shell 脚本来做，但是比较麻烦）。
一个非常简单的例子来感受一下。
import popen2
stdout_text, stdin_text=popen2.popen2("your-shell-command-here")
for line in stdout_text:
if line.startswith("#"):
pass
else
jobID=int(line.split(",")[0].split()[1].lstrip("<").rstrip(">"))
# do something with jobID
还要检查 sys 和 getopt 模块，它们是您首先需要的。
【讨论】：