为 sys.stdin 设置较小的缓冲区大小？

Question

我正在使用以下 bash 命令模式运行 memcached：

memcached -vv 2>&1 | tee memkeywatch2010098.log 2>&1 | ~/bin/memtracer.py | tee memkeywatchCounts20100908.log

尝试在整个平台范围内追踪不匹配的 get 设置。

memtracer 脚本如下，可以按需要运行，但有一个小问题。观察中间日志文件大小，memtracer.py 直到 memkeywatchYMD.log 才开始获取输入 大小约为15-18K。有没有更好的读取标准输入的方法，或者将缓冲区大小减少到 1k 以下以加快响应时间？

#!/usr/bin/python

import sys
from collections import defaultdict

if __name__ == "__main__":


    keys = defaultdict(int)
    GET = 1
    SET = 2
    CLIENT = 1
    SERVER = 2

    #if <
    for line in sys.stdin:
        key = None
        components = line.strip().split(" ")
        #newConn = components[0][1:3]
        direction = CLIENT if components[0].startswith("<") else SERVER

        #if lastConn != newConn:        
        #    lastConn = newConn

        if direction == CLIENT:            
            command = SET if components[1] == "set" else GET
            key = components[2]
            if command == SET:                
                keys[key] -= 1                                                                                    
        elif direction == SERVER:
            command = components[1]
            if command == "sending":
                key = components[3] 
                keys[key] += 1

        if key != None:
            print "%s:%s" % ( key, keys[key], )

Answer 1

您可以使用 python 的 -u 标志从标准输入/标准输出中完全删除缓冲：

-u     : unbuffered binary stdout and stderr (also PYTHONUNBUFFERED=x)
         see man page for details on internal buffering relating to '-u'

手册页说明：

   -u     Force stdin, stdout and stderr to  be  totally  unbuffered.   On
          systems  where  it matters, also put stdin, stdout and stderr in
          binary mode.  Note that there is internal  buffering  in  xread-
          lines(),  readlines()  and  file-object  iterators ("for line in
          sys.stdin") which is not influenced by  this  option.   To  work
          around  this, you will want to use "sys.stdin.readline()" inside
          a "while 1:" loop.

除此之外，不支持更改现有文件的缓冲，但您可以使用与现有文件描述符相同的基础文件描述符创建一个新文件对象，并且可能使用不同的缓冲，使用 @ 987654321@。即，

import os
import sys
newin = os.fdopen(sys.stdin.fileno(), 'r', 100)

应该将 newin 绑定到一个文件对象的名称，该文件对象读取与标准输入相同的 FD，但一次仅缓冲大约 100 个字节（您可以继续使用 sys.stdin = newin从那里开始使用新的文件对象作为标准输入）。我说“应该”是因为这个领域过去在某些平台上存在许多错误和问题（提供具有完全通用性的跨平台功能是相当困难的）——我不确定它是什么状态是现在，但我绝对建议在所有感兴趣的平台上进行彻底测试，以确保一切顺利。 （-u，完全删除缓冲，应该可以在所有平台上解决更少的问题，如果这可能满足您的要求）。

Answer 2

您可以简单地使用sys.stdin.readline() 而不是sys.stdin.__iter__()：

import sys

while True:
    line = sys.stdin.readline()
    if not line: break # EOF

    sys.stdout.write('> ' + line.upper())

这让我在 Ubuntu 13.04 上使用 Python 2.7.4 和 Python 3.3.1 进行行缓冲读取。

Answer 3

sys.stdin.__iter__ 仍然是行缓冲的，通过使用the 2-argument form of iter 生成sys.stdin.readline 的迭代器，可以拥有一个行为基本相同的迭代器（停止在EOF，而stdin.__iter__ 不会）：

import sys

for line in iter(sys.stdin.readline, ''):
    sys.stdout.write('> ' + line.upper())

或提供None 作为哨兵（但请注意，您需要自己处理EOF 条件）。

Answer 4

这在 Python 3.4.3 中对我有用：

import os
import sys

unbuffered_stdin = os.fdopen(sys.stdin.fileno(), 'rb', buffering=0)

documentation for fdopen() 表示它只是open() 的别名。

open() 有一个可选的buffering 参数：

buffering 是一个可选的整数，用于设置缓冲策略。传递 0 以关闭缓冲（仅在二进制模式下允许），1 以选择行缓冲（仅在文本模式下可用），并且整数 > 1 以指示固定大小的块缓冲区的大小（以字节为单位）。

换句话说：

• 完全无缓冲标准输入需要二进制模式并传递零作为缓冲区大小。
• 行缓冲需要文本模式。
• 任何其他缓冲区大小似乎都适用于 binary 和 text 模式（根据文档）。

Answer 5

您的问题可能不在于 Python，而在于 Linux shell 在使用管道链接命令时注入的缓冲。当这是问题时，输入不是按行缓冲，而是按 4K 块缓冲。

要停止此缓冲，请在命令链前面加上 expect 包中的 unbuffer 命令，例如：

unbuffer memcached -vv 2>&1 | unbuffer -p tee memkeywatch2010098.log 2>&1 | unbuffer -p ~/bin/memtracer.py | tee memkeywatchCounts20100908.log

unbuffer 命令在管道中间使用时需要-p 选项。

Answer 6

我可以用 python 2.7 做到这一点的唯一方法是：

tty.setcbreak(sys.stdin.fileno())

来自Python nonblocking console input。这将完全禁用缓冲并抑制回声。

编辑：关于亚历克斯的回答，第一个命题（用-u 调用python）在我的情况下是不可能的（见shebang limitation）。

第二个命题（用较小的缓冲区复制 fd：os.fdopen(sys.stdin.fileno(), 'r', 100)）在我使用 0 或 1 的缓冲区时不起作用，因为它用于交互式输入，我需要立即处理每个按下的字符。