跨语言序列化-protobuf/thrift/avro性能测试

1. 编写Schema

1.1 student.proto

[java] view plain copy
  1. package protobuf;   
  2. option java_package = "com.topsec.trd";   
  3. option java_outer_classname = "StudentProto";   
  4. message Student  {   
  5.   required string name = 1;  
  6.   required int32 age = 2;  
  7.   required int32 sex = 3;  
  8.   optional string alias = 4;  
  9.   repeated string interest=5;  
  10.     
  11. }  

1.2 studnet.avsc

[java] view plain copy
  1. namespace java com.topsec.trd  
  2. struct StudentThrift {    
  3.   1: string name,  
  4.   2: i32 age,  
  5.   3: i32 sex,  
  6.   4: optional string aliass,  
  7.   5: list<string> interest  
  8. }  

1.3 studnet.avsc

[java] view plain copy
  1. {"namespace": "com.topsec.trd",  
  2.  "type": "record",  
  3.  "name": "StudentAvro",  
  4.  "fields": [  
  5.      {"name": "name", "type": "string"},  
  6.      {"name": "alias",  "type": ["string", "null"]},  
  7.      {"name": "age",  "type": ["int", "null"]},  
  8.      {"name": "sex", "type": ["string", "null"]},  
  9.      {"name": "interet", "type": {"type": "array", "items": "string"}}  
  10.  ]  
  11. }  

2. 生成bean

生成protobuf bean

protoc --java_out=. student.proto

生成thrift bean

thrift-0.10.0.exe -gen java student.thrift

生成avro bean

java -jar lib/avro-tools-1.7.7.jar compile schema src/main/resource/student.avsc src/main/java

3. 编写测试代码

[java] view plain copy
  1. public class ProtoBuf {  
  2.     private final static int TIMES = 10000000;  
  3.     public static void main(String[] args) throws IOException {  
  4.          long start = System.currentTimeMillis();  
  5.          for(int i = 0; i < TIMES; i++) {  
  6.              deserialize();  
  7.          }  
  8.          long end = System.currentTimeMillis();  
  9.          System.out.println("ProtoBuf total time \t" + (end -start));  
  10.     }  
  11.       
  12.     public static byte [] serializeAsBytes() {  
  13.         return makeStudent().build().toByteArray();   
  14.     }  
  15.       
  16.     public static InputStream serializeAsStream() throws IOException {  
  17.         ByteArrayOutputStream baos = new ByteArrayOutputStream();  
  18.         makeStudent().build().writeDelimitedTo(baos);  
  19.         return new ByteArrayInputStream(baos.toByteArray());  
  20.     }  
  21.       
  22.     private static Builder makeStudent() {  
  23.         StudentProto.Student.Builder student = StudentProto.Student.newBuilder();  
  24.         student.setName("小明");  
  25.         student.setSex(0);  
  26.         student.setAge(18);  
  27.         List<String> interests = new ArrayList<String>();  
  28.         interests.add("吃饭");  
  29.         interests.add("睡觉");  
  30.         interests.add("打豆豆");  
  31.         student.addAllInterest(interests);  
  32.         return student;  
  33.     }  
  34.       
  35.     public static void deserialize() throws IOException {  
  36.         byte [] bytes = serializeAsBytes();  
  37.         StudentProto.Student student = StudentProto.Student.parseFrom(bytes);  
  38.         System.out.println(student.getName());  
  39.     }  
  40. }  


[java] view plain copy
  1. public class Thrift {  
  2.     private final static int TIMES = 10000000;  
  3.     private final static TSerializer SERIALIZER = new TSerializer(new TBinaryProtocol.Factory());  
  4.     private final static TDeserializer DESERIALIZER = new TDeserializer(new TBinaryProtocol.Factory());  
  5.       
  6.     public static void main(String[] args) throws TException {  
  7.          long start = System.currentTimeMillis();  
  8.          for(int i = 0; i < TIMES; i++) {  
  9.              deserialize();  
  10.          }  
  11.          long end = System.currentTimeMillis();  
  12.          System.out.println("Thrift total time \t" + (end -start));  
  13.     }  
  14.       
  15.     public static byte [] serialize() throws TException {  
  16.         StudentThrift stu = new StudentThrift();  
  17.         stu.setName("小明");  
  18.         stu.setSex(0);  
  19.         stu.setAge(18);  
  20.         List<String> interests = new ArrayList<String>();  
  21.         interests.add("吃饭");  
  22.         interests.add("睡觉");  
  23.         interests.add("打豆豆");  
  24.         stu.setInterest(interests);  
  25.           
  26.         return SERIALIZER.serialize(stu);  
  27.     }  
  28.       
  29.     public static void deserialize() throws TException {  
  30.         byte [] bytes = serialize();  
  31.         StudentThrift stu = new StudentThrift();  
  32.         DESERIALIZER.deserialize(stu, bytes);  
  33. //      System.out.println(stu);  
  34.     }  
  35.       
  36. }  


[java] view plain copy
  1. public class AVRO {  
  2.     private final static int TIMES = 10000000;  
  3.      public static void main(String[] args) throws IOException {  
  4.          long start = System.currentTimeMillis();  
  5.          deserializeAsBytes();  
  6.          long end = System.currentTimeMillis();  
  7.          System.out.println("Avro total time \t" + (end -start));  
  8.      }  
  9.        
  10.      public static byte [] serializeAsBytes() throws IOException {  
  11.          StudentAvro student = new StudentAvro();  
  12.          student.setName("小明");  
  13.          student.setSex("女");  
  14.          student.setAge(18);  
  15.          List<CharSequence> interests = new ArrayList<CharSequence>();  
  16.          interests.add("吃饭");  
  17.          interests.add("睡觉");  
  18.          interests.add("打豆豆");  
  19.          student.setInteret(interests);  
  20.          ByteArrayOutputStream baos = new ByteArrayOutputStream();  
  21.          DatumWriter<StudentAvro>  userDatumWriter = new  SpecificDatumWriter<StudentAvro>(StudentAvro.class);  
  22.          DataFileWriter<StudentAvro>  dataFileWriter = new  DataFileWriter<StudentAvro>(userDatumWriter);  
  23.          dataFileWriter.create(student.getSchema(), baos);  
  24.          dataFileWriter.append(student);  
  25.          dataFileWriter.close();  
  26.          return baos.toByteArray();  
  27.      }  
  28.        
  29.      public static byte [] serializeAsBytes(int times) throws IOException {  
  30.          ByteArrayOutputStream baos = new ByteArrayOutputStream();  
  31.          DatumWriter<StudentAvro>  userDatumWriter = new  SpecificDatumWriter<StudentAvro>(StudentAvro.class);  
  32.          DataFileWriter<StudentAvro>  dataFileWriter = new  DataFileWriter<StudentAvro>(userDatumWriter);  
  33.          dataFileWriter.create(new StudentAvro().getSchema(), baos);  
  34.          for(int i = 0; i < times; i++) {  
  35.              StudentAvro student = new StudentAvro();  
  36.              student.setName("小明");  
  37.              student.setSex("女");  
  38.              student.setAge(18);  
  39.              List<CharSequence> interests = new ArrayList<CharSequence>();  
  40.              interests.add("吃饭");  
  41.              interests.add("睡觉");  
  42.              interests.add("打豆豆");  
  43.              student.setInteret(interests);  
  44.               
  45.              dataFileWriter.append(student);  
  46.          }  
  47.          dataFileWriter.close();  
  48.          return baos.toByteArray();  
  49.      }  
  50.        
  51.      public static void deserializeAsBytes() throws IOException {  
  52.          SeekableByteArrayInput sbai = new SeekableByteArrayInput(serializeAsBytes(TIMES));  
  53.          DatumReader<StudentAvro> datumReader = new SpecificDatumReader<StudentAvro>(StudentAvro.class);  
  54.          DataFileReader<StudentAvro> dataFileReader = new DataFileReader<StudentAvro>(sbai, datumReader);  
  55.          StudentAvro user = null;  
  56.          while (dataFileReader.hasNext()) {  
  57.              user = dataFileReader.next(user);  
  58.              System.out.println(user.getName());  
  59.          }   
  60.          dataFileReader.close();  
  61.      }  
  62.        
  63. }  

4. 测试结果

private final static int TIMES = 100000;
ProtoBuf total time 282
Thrift total time 229
Avro total time 694

private final static int TIMES = 1000000;
ProtoBuf total time 988
Thrift total time 1248
Avro total time 2079

private final static int TIMES = 10000000;
ProtoBuf total time 7368
Thrift total time 10675
Avro total time 15025

4.1 小结

项/技术 avro                   thrift                 protobuf       
速度 慢 中等 快
序列化到1个stream 是            否                否   


5.工程下载地址

(包含测试代码及三种schema和生成bean的工具等)


6.protobuf分析


6.1 protobuf特点

(a)占用空间小
一条消息数据，用protobuf序列化后的大小是json的10分之一，xml格式的20分之一，是二进制序列化的10分之一（极端情况下，会大于等于直接序列化），总体看来ProtoBuf的优势还是很明显的。
(b)解析速度快
解析速度快，主要归功于protobuf对message 没有动态解析，没有了动态解析的处理序列化速度自然快了。就比如xml ，获取文件之后，还需要解析标签、节点、字段，每一个都需要遍历，而protobuf不需要，直接将field装入流。
(c)兼容性好
fieldNumber 为每个field定义一个编号，其一保证不重复，其二保证其在流中的位置。如若当前数据流中有某个字段，而解析方没有相关的解析代码，解析放会直接skip 吊这个field，而且读数据的position也会后移，保证后续读取不出问题。
[java] view plain copy
  1. private StudentProto.Student request(int age) {  
  2.         StudentProto.Student.Builder builder = StudentProto.Student.newBuilder();  
  3.         builder.setName("小明");  
  4.         builder.setSex(0);  
  5.         builder.setAge(age);  
  6.         return builder.build();  
  7.     }  
protobuf计算tag源码
[java] view plain copy
  1. static final int TAG_TYPE_BITS = 3;  
  2. /** Makes a tag value given a field number and wire type. */  
  3.  static int makeTag(final int fieldNumber, final int wireType) {  
  4.    return (fieldNumber << TAG_TYPE_BITS) | wireType;  
  5.  }  
数字类型存储：tag+value,
字符串存储    ：leg+value,leg是字符串的长度

分析字节流：
跨语言序列化-protobuf/thrift/avro性能测试

相关文章：

  • 2021-06-13
  • 2021-11-04
  • 2021-10-17
  • 2021-05-02
  • 2021-10-28
猜你喜欢
  • 2022-01-20
  • 2022-12-23
  • 2021-12-22
  • 2022-12-23
  • 2021-05-24
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode