Golang中打开文件过多错误

Question

我只是在阅读/proc/diskstats 文件。我的代码是：

func ReadFromFile(filepath string)(string){
    defer func() {
        if err1 := recover(); err1 != nil {
            fmt.Println("!!!!!!!!!!!!!!!!Panic Occured and Recovered in readFromFile(), Error Info: ", err1)
        }
     }()

    strData := ""

    data, err := ioutil.ReadFile(filepath)
    if err != nil{
        fmt.Println("File read error: ", err)
        return ""
    }

    strData = string(data)
    return strData
}

我得到的错误是：

File read error: open /proc/diskstats: too many open files

不仅对于这个文件，我对其他一些文件也遇到了同样的错误。

我也运行了这个命令：

root@golang:~# lsof|wc -l

785

请指导我。

Answer 1

我遇到了同样的问题（可能是不同的环境或设置）并以不同的方式解决了它：

func some_func(file_name []string) {
    for _, file_name := range file_names {
        f, _ := os.Create(file_name)
        // defer f.Close() // bad idea
        _, _ = f.Write([]byte("some text"))
        f.Close() // better idea
    }
}

问题是 defer 将在函数返回时执行，这可能需要一段时间 - 取决于循环大小（坏主意）。所以只要明确表达（更好的主意）

Answer 2

基本上在 UNIX 平台中，操作系统会限制进程在任何给定时间可能拥有的打开文件描述符的数量。
由于您已达到当前打开的文件（和/或管道或套接字）的限制，并且您正在尝试打开一个新文件（和/或管道或套接字），因此引发了错误 too many open files。
为避免此问题，您必须在使用完后关闭文件才能使用 Close() 函数打开文件

Answer 3

OP 不提供Minimal, Reproducible Example。有问题的错误是由未发布的代码引起的。演示这一点的一种简单方法是简单地在一个最小示例中运行提供的代码（没有其他活动），并查看它是否没有失败。

ioutil.ReadFile 函数当然会关闭文件。在这种情况下，它被暗示只是因为它试图在资源限制已经达到时打开一个新文件。

---

Go 中一个常见的gotcha 是无法关闭隐式打开的流。这种情况的一个具体情况是，在使用 http 库的客户端函数时打开了一个流。

示例：(1), (2)

客户端完成后必须关闭响应正文：

resp, err := http.Get("http://example.com/")
if err != nil {
    // handle error
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)

此类请求应始终包括对Close的调用，使用如上所示的表单。

可能还有其他类似的隐式流被打开的情况...

---

这是一个特别棘手的问题，因为对于琐碎的程序，您永远不会知道其中的区别。直到您通过数百或数千次迭代运行此程序时，您才会知道存在问题。然后，错误可能经常表现为某些不相关的函数调用失败——正如 OP 所展示的那样。