在python中将stdout设置为非阻塞

Question

事先警告：出于好奇，我在这里闲逛。我没有具体的理由去做我在下面做的事情！

以下是在Python 2.7.13MacOS 10.12.5上完成的

我正在使用 python 进行黑客攻击，我想看看如果我让 stdout 非阻塞会发生什么会很有趣

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

对fcntl 的调用肯定是成功的。然后我尝试写入大量数据（大于 OSX 上管道的最大缓冲区大小 - 即 65536 字节）。我以多种方式做到这一点并得到不同的结果，有时是例外，有时似乎是一个艰难的失败。

案例 1

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    sys.stdout.write("A" * 65537)
except Exception as e:
    time.sleep(1)
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

这总是抛出异常Caught: [Errno 35] Resource temporarily unavailable。我觉得有道理。更高级别的文件对象包装器告诉我写调用失败。

案例 2

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    sys.stdout.write("A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

这有时会抛出异常 Caught: [Errno 35] Resource temporarily unavailable 或者有时没有捕获到异常，我看到以下输出：

close failed in file object destructor:
sys.excepthook is missing
lost sys.stderr

案例 3

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    sys.stdout.write("A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

print "Slept"

这有时会引发异常 Caught: [Errno 35] Resource temporarily unavailable 或者有时没有捕获到异常，我只看到“睡眠”。看来printing "Slept" 我没有收到案例 2 的错误消息。

案例 4

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    os.write(sys.stdout.fileno(), "A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

总是好的！

案例 5

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
    print os.write(sys.stdout.fileno(), "A" * 65537)
except Exception as e:
    print "Caught: {}".format(e)

# Safety sleep to prevent quick exit
time.sleep(1)

这有时可以，有时会打印close failed in file object destructor 错误消息。

我的问题是，为什么在 python 中会这样失败？我在这里做的事情从根本上是不好的 - 无论是使用 python 还是在系统级别？

似乎以某种方式在写入已经失败时过早写入标准输出会导致错误消息。该错误似乎不是异常。不知道它来自哪里。

注意我可以用 C 编写等效的程序，并且可以正常工作：

#include <stdio.h>
#include <stdlib.h>
#include <memory.h>
#include <sys/fcntl.h>
#include <unistd.h>

int main(int argc, const char * argv[])
{
    const size_t NUM_CHARS = 65537;
    char buf[NUM_CHARS];

    // Set stdout non-blocking
    fcntl(fileno(stdout), F_SETFL, O_NONBLOCK);

    // Try to write a large amount of data
    memset(buf, 65, NUM_CHARS);
    size_t written = fwrite(buf, 1, NUM_CHARS, stdout);

    // Wait briefly to give stdout a chance to be read from
    usleep(1000);

    // This will be written correctly
    sprintf(buf, "\nI wrote %zd bytes\n", written);
    fwrite(buf, 1, strlen(buf), stdout);
    return 0;
}

Answer 1

这很有趣。到目前为止，我发现了一些东西：

案例 1

这是因为sys.stdout.write 将写入所有字符串或抛出异常，这不是使用O_NONBLOCK 时所期望的行为。当对write 的底层调用返回EAGAIN（OS X 上的Errno 35）时，应该使用剩余的数据再次尝试。应该改用os.write，并检查返回值以确保所有数据都已写入。

此代码按预期工作：

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

def stdout_write(s):
    written = 0
    while written < len(s):
        try:
            written = written + os.write(sys.stdout.fileno(), s[written:])
        except OSError as e:
            pass

stdout_write("A" * 65537)

案例 2

我怀疑此错误消息是由于 https://bugs.python.org/issue11380:

close failed in file object destructor:
sys.excepthook is missing
lost sys.stderr

我不确定为什么有时会调用它。这可能是因为except 语句中有一个print 试图使用写入失败的相同stdout。

案例 3

这与案例 1 类似。此代码对我始终有效：

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

def stdout_write(s):
    written = 0
    while written < len(s):
        try:
            written = written + os.write(sys.stdout.fileno(), s[written:])
        except OSError as e:
            pass

stdout_write("A" * 65537)

time.sleep(1)

print "Slept"

案例 4

确保检查os.write的返回值，我怀疑65537个字节没有被成功写入。

案例 5

这与案例 2 类似。