【发布时间】:2013-12-26 10:23:26
【问题描述】:
我正在使用 hadoop,需要更改打开文件的数量ulimit -n。我在 stackoverflow 和其他地方看到了类似的问题,并尝试了这些答案中的所有内容,但它仍然不起作用。我正在与ubuntu 12.04 LTS 合作。这是我所做的:
更改/etc/security/limits.conf 中的限制,我已经为* 和root 设置了设置。我还将限制更改为10000 和unlimited 等数字。
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
我也尝试过使用- 而不是soft 和hard 进行上述设置。在这些更改之后,我对/etc/pam.d/ 文件进行了更改,例如:
common-session
common-session-noninterative
login
cron
sshd
su
sudo
我在每个文件的开头添加了session required pam_limits.so。我重新启动了有问题的盒子,设置没有生效。
我还发现/etc/security/limits.d/ 目录中有用户hbase mapred 和hdfs 的文件。我也尝试更改这些单个文件的限制,但无济于事。
我也尝试将ulimit -S -n unlimited 放入/etc/profile 中。它不起作用。
最后,我尝试将limit nofile unlimited unlimited 放在/etc/init.d/hadoop* 文件中作为第一行。不工作。
一个有趣的事情是,我没有在盒子上安装 hbase,但我在 /etc/security/limits.d/ 目录中有一个 hbase.conf 文件。此文件中的设置以ulimit -n 反映。但是来自hdfs.conf 和mapred.conf 的设置没有反映。这表明某些东西正在覆盖hdfs 和mapred 的设置。
我想我已经尝试了人们在几个论坛上提出的所有建议,还有什么我可能遗漏或做错的事情吗?
我使用CDH 4.4.0 作为我的hadoop 发行版。
【问题讨论】:
-
好吧,我们为什么要在这里投票?这不是一个有效的问题吗?我已经完成了我的研究,但事情仍然没有奏效。我很惊讶人们投票赞成这样详细的问题。
-
它不适用于 SO。它更适合 askubuntu (as you found out) 或超级用户。这里没有编程......
标签: hadoop ubuntu-12.04 ulimit