【发布时间】：2012-02-29 19:46:05
【问题描述】：
我正在使用线程池来做一些工作。我的游泳池大小只有 8 个。 但我收到以下错误：
java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: unable to create new native thread
at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
at java.util.concurrent.FutureTask.get(FutureTask.java:83)
at com.TransferFiles.transferFilesToHadoop(TransferFiles.java:88)
at com.TransferJob.execute(TransferJob.java:25)
at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:525)
Caused by: java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:640)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:555)
at org.apache.hadoop.ipc.Client$Connection.access$1800(Client.java:184)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1140)
at org.apache.hadoop.ipc.Client.call(Client.java:986)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy1.getFileInfo(Unknown Source)
at sun.reflect.GeneratedMethodAccessor12.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy1.getFileInfo(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:676)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:521)
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:692)
at org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:349)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:205)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1119)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1095)
at com.FileCopyRoutine.call(TransferFiles.java:325)
at com.FileCopyRoutine.call(TransferFiles.java:257)
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
at java.util.concurrent.FutureTask.run(FutureTask.java:138)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)
我正在使用：
private static final ExecutorService exec = Executors.newFixedThreadPool(TransferToHadoopUtilities.numOfThreads);
numOfThreads=8
Future<Boolean> futureTask = exec.submit(new FileCopyRoutine(srcSubResultPath, destSubResultPath,execId));
FileCopyRoutine 实现 Callable。我可能会同时提交数百个。 谁能给我一些关于这个错误的提示？
【问题讨论】：
-
我添加了“hadoop”标签，因为它似乎与此上下文相关。
-
嗯，显然 jvm 的可用内存已用完。您是否分配了任何额外的内存，或者您正在使用默认内存设置启动您的应用程序？
-
您要向池提交多少作业？真的是100多吗？
-
感谢您的回复。到目前为止，我认为提交不能超过100。
-
每个作业的大小是多少？你将你的java堆空间设置为什么（你是否在命令行中将'-Xmx'标志设置为任何东西）？我相信，默认的堆空间大小是 128Mb，Java 中的每个线程都会分配给它 4Mb 的堆栈空间，但是如果你在命令行中忘记了 '-Xmx[some number]m' 中的 'm'，那么number 被解释为字节。只是一些想法。
标签： java multithreading hadoop java.util.concurrent