Fork 系统调用失败后，rax 中的返回值是多少？

Question

我知道如果在 C 中调用 fork() 会返回 -1 如果有错误，但我想知道当你在汇编中调用 sys_fork 时错误返回值是什么。

我通常会假设它也返回 -1，但我已经处理了 sys_brk 并且程序集中的原始系统调用返回了与 C Brk() 包装器不同的东西。

有谁知道汇编中的 fork 错误返回值是什么？

（我在 Linux 上做 64 位 NASM 汇编）

Answer 1

首先要注意，C 库包装器 fork(2) 调用 sys_clone 而不是 sys_fork。

C 库/内核差异

从 2.3.3 版本开始，而不是调用内核的 fork() 系统
调用，作为 NPTL 的一部分提供的 glibc fork() 包装器
线程实现使用提供
的标志调用clone(2) 与传统系统调用的效果相同。

---

introduction to the section 2 of the Linux manual 解释了如何在一般上下文中解释系统调用的返回值：

返回值

发生错误时，大多数系统调用都会返回负错误号（即
errno(3) 中描述的常数之一的取反值。 C
库包装器对调用者隐藏了这个细节：当系统调用
返回负值，包装器将绝对值复制到
errno 变量，并返回 -1 作为
的返回值 包装。

所以对于大多数系统调用，EAX/RAX 在错误时保持-ESOMETHING，或在成功时保持非负结果。 libc 包装器对此进行解码以实现第 2 节手册页中描述的 errno 设置和返回 -1 行为，该手册主要记录包装器； “C 库/内核差异”的详细信息有时可以在 Linux 手册页的“注释”部分找到。

重要的是要注意，正如第一段所说，这适用于大多数但不是所有系统调用。 sys_fork 在这方面并不特别。几个有趣的特殊情况是getpriorityerrno(3)^更多下文开头提到的mmap，和mmap。 （有效指针可以设置其高位，因此区分错误和成功需要其他技巧，like checking the low bits since a successful mmap always returns a page-aligned address。）这些 ABI 详细信息未记录在手册页中。

---

为了确定sys_fork 调用是否成功，测试负值就足够了：

test eax, eax
jl _error_handler              ;See Peter Cordes's comments below

我已经包含了有关 C 库包装器的部分，例如 fork(2)，因为它提供了一种找出错误号的实用方法。
errno 的取反值是系统调用可能返回的错误值。

再次
ENOMEM
ENOSYS
ERESTARTNOINTR

通常，C 库包装器可以在将返回值写入errno 之前添加、删除或转码，因此这是失败的。

找出可能的返回值的确定方法是查看源。
例如，sys_fork 调用的do_fork 除了上面列出的值之外，还可以返回EINVAL 和EPERM。
其他值是可能的，我还没有深入研究所有的嵌套函数调用。

sys_clone 也调用do_fork 所以我假设 clone(2) 可以返回fork(2) 可以返回的所有错误号。

---

调查上面提到的sys_getpriority 的情况出现了一条评论

/*
 * Ugh. To avoid negative return values, "getpriority()" will
 * not return the normal nice-value, but a negated value that
 * has been offset by 20 (ie it returns 40..1 instead of -20..19)
 * to stay compatible.
 */

因此，似乎 Linux 系统调用总是在错误时返回负值，C 库包装器试图将这些值标准化为 errno，引入了额外的复杂层。

正如我们从mmap 案例中看到的，设置符号位并不总是意味着它是一个错误值。 根据this answer（下面的 Peter Cordes 评论的优点），[-4095, -1] 范围内的值总是意味着错误，但其他负值不应该。