【发布时间】:2015-08-07 06:37:10
【问题描述】:
所以基本上,我正在尝试在 java 中实现 MapReduce 框架。
这里的问题是,我希望从节点(机器)知道用户定义的 map 和 reduce 函数。一开始只有master节点知道使用代码是什么,因为默认情况下,用户在master机器上编写代码。但是,从节点和主节点是不同的机器,机器有网络连接。
我的想法是,将用户的代码发送到从节点,即通过java RMI将编译好的.class文件发送到从节点。目前我的解决方案是,把.class当作普通文件,将.class的内容读入byte[],然后发送这个字节通过 java RMI 的数组。从节点收到byte[]后,将数据写入本地文件系统,并使用ClassLoader获取用户自定义代码。
那么,还有其他解决方案可以解决这个问题吗?
【问题讨论】:
标签: java serialization mapreduce rmi