Hadoop之RPC

       Hadoop的RPC主要是通过Java的动态代理（Dynamic Proxy）与反射（Reflect）实现，代理类是由java.lang.reflect.Proxy类在运行期时根据接口，采用Java反射功能动态生成的，并且结合java.lang.reflect.InvocationHandler来处理客户端的请求，当用户调用这个动态生成的实现类时，实际上是调用了InvocationHandler实现类的invoke方法。RPC源代码在org.apache.hadoop.ipc下，有以下几个主要类： 

    Client: 客户端，连接服务器、传递函数名和相应的参数、等待结果；

    Server:服务器端，主要接受Client的请求、执行相应的函数、返回结果；

    VersionedProtocol:通信双方所遵循契约的父接口；

    RPC：RPC通信机制，主要是为通信的服务方提供代理。

　　1.通信双方遵循的契约

    要通过RPC服务进行通信，服务的提供方必须实现某个接口，而这个即可是VersionedProtocol的子类，诸如：

InterTrackerProtocol，它是TaskTracker与JobTracker进行通信所遵循的契约，JobTracker是一个Server，它必须实现这个接口；

JobSubmissionProtocol,它是JobTracker与JobClient通讯所遵循的契约，JobClient利用契约中的方法可以提交作业去执行， 并且得到当前系统的状态；

DatanodeProtocol，利用此契约，DataNode可以向NameNode汇报自己的块状态以及负载情况。

InterDatanodeProtocol，DataNode之间利用此契约可以更新数据块。

其它的接口在此不再一一赘述。

    2.Hadoop中RPC通信原理 

　　我们通过TaskTracker与JobTracker的通信来剖析其通信过程，JobTracker的代理是通过下面的方法得到的，

 this.jobClient = (InterTrackerProtocol) 
    UserGroupInformation.getLoginUser().doAs(
        new PrivilegedExceptionAction<Object>() {
      public Object run() throws IOException {
        return RPC.waitForProxy(InterTrackerProtocol.class,
            InterTrackerProtocol.versionID,
            jobTrackAddr, fConf);
      }
    });

View Code

　　它是通过调用RPC类中的静态方法waitForProxy()方法而得到了InterTrackerProtocol的一个代理，借助于这个代理对象，TaskTracker就可以与JobTracker进行通信了。

  VersionedProtocol proxy =
        (VersionedProtocol) Proxy.newProxyInstance(
            protocol.getClassLoader(), new Class[] { protocol },
            new Invoker(protocol, addr, ticket, conf, factory, rpcTimeout));

View Code