如何在 hadoop 中序列化对象（在 HDFS 中）

Question

我有一个 HashMap >。我想将我的 HashMap 对象（hmap）序列化到 HDFS 位置，然后在 Mapper 和 Reducers 将其反序列化以使用它。

为了在 HDFS 上序列化我的 HashMap 对象，我使用了如下的普通 java 对象序列化代码，但出现错误（权限被拒绝）

try
        {
            FileOutputStream fileOut =new FileOutputStream("hashmap.ser");
            ObjectOutputStream out = new ObjectOutputStream(fileOut);
            out.writeObject(hm);
            out.close();

        }
        catch(Exception e)
        {
            e.printStackTrace();
        }

我遇到了以下异常

java.io.FileNotFoundException: hashmap.ser (Permission denied)
    at java.io.FileOutputStream.open(Native Method)
    at java.io.FileOutputStream.<init>(FileOutputStream.java:221)
    at java.io.FileOutputStream.<init>(FileOutputStream.java:110)
    at KMerIndex.createIndex(KMerIndex.java:121)
    at MyDriverClass.formRefIndex(MyDriverClass.java:717)
    at MyDriverClass.main(MyDriverClass.java:768)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

有人可以建议或分享如何在 hdfs 上的 hadoop 中序列化对象的示例代码吗？

Answer 1

请尝试使用来自 Apache Commons Lang 的 SerializationUtils。

下面是方法

static Object   clone(Serializable object)  //Deep clone an Object using serialization.
static Object   deserialize(byte[] objectData) //Deserializes a single Object from an array of bytes.
static Object   deserialize(InputStream inputStream)  //Deserializes an Object from the specified stream.
static byte[]   serialize(Serializable obj) //Serializes an Object to a byte array for storage/serialization.
static void serialize(Serializable obj, OutputStream outputStream) //Serializes an Object to the specified stream.

在存储到 HDFS 时，您可以存储从序列化返回的byte[]。 在获取对象时，您可以将类型转换为相应的对象，例如：文件对象并可以将其取回。

在我的例子中，我在 Hbase 列中存储了一个哈希图，我在我的映射器方法中将它检索回来，就像它是 Hashmap 一样......并且成功了。强>

当然，你也可以用同样的方法...

另一件事是你也可以使用 Apache Commons IO refer this (org.apache.commons.io.FileUtils); 但稍后您需要将此文件复制到 HDFS。因为您希望 HDFS 作为数据存储。

FileUtils.writeByteArrayToFile(new File("pathname"), myByteArray);

注意： jar apache commons io 和 apache commons lang 在 hadoop 集群中始终可用。