tensorflow训练好的模型中java调用

最近基于bi-lstm做了一个辱骂识别模型准备部署到线上，之前打算用python 启动一个service 通过http请求来调用，发现公司平台是基于rpc服务的，开发部署起来也较蛋疼，今天下午闲来没事，看到tensorflow中有提供官方例子，通过python中训练好模型，用java来调用，刚刚好摸索了下，动手写了下代码，总算能在java中调用，废话不多说，直接看代码实现情况。

tensorflow版本情况:

1. In [1]: import tensorflow as tf
3. In [2]: tf.__version__
4. Out[2]: '1.2.1'

java需要1.8的版本

maven依赖:

1. <dependency>
2. <groupId>org.tensorflow</groupId>
3. <artifactId>tensorflow</artifactId>
4. <version>1.2.1</version>
5. </dependency>

参考资料：

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/java/src/main/java/org/tensorflow/examples/LabelImage.java

http://blog.csdn.net/lyg5623/article/details/72781405

tensorflow训练模型时候要保存的模型参数，主要有是三个，一个是模型输入的tensor大小，一个是dropout参数，一个是模型预测的logits(score/pred_y 表示name_scope下的pred_y)值，也就是y；模型保存为一个二进制文件，可以在java中加载：

1. if i%500==0 and i>0:
2. graph = tf.graph_util.convert_variables_to_constants(session, session.graph_def,
3. ["keep_prob", "input_x", "score/pred_y"])
4. tf.train.write_graph(graph, ".", "/Users/shuubiasahi/Desktop/tensorflow/modelsavegraph/graph.db",
5. as_text=False)

java代码如下,其中gettexttoid方法参考tensorflow中 tensorflow.contrib.keras.preprocessing.sequence.pad_sequences下的实现，用于做文本预测：

1. package com.meituan.test;
3. import java.io.BufferedReader;
4. import java.io.File;
5. import java.io.FileInputStream;
6. import java.io.IOException;
7. import java.io.InputStreamReader;
8. import java.nio.ByteBuffer;
9. import java.nio.ByteOrder;
10. import java.nio.IntBuffer;
11. import java.nio.file.Files;
12. import java.nio.file.Paths;
13. import java.nio.file.Path;
14. import java.util.ArrayList;
15. import java.util.Arrays;
16. import java.util.Collection;
17. import java.util.HashMap;
18. import java.util.List;
19. import java.util.Map;
21. import org.apache.commons.io.FileUtils;
22. import org.apache.commons.lang.StringUtils;
23. import org.tensorflow.Graph;
24. import org.tensorflow.Session;
25. import org.tensorflow.Tensor;
27. public class TensorflowEx {
28. private static String path = "/Users/shuubiasahi/Documents/python/credit-tftextclassify-abuse/vocab_cnews.txt";
29. private static Map<String, Integer> word_to_id = new HashMap<String, Integer>();
30. static {
31. try {
32. BufferedReader buffer = null;
33. buffer = new BufferedReader(new InputStreamReader(new FileInputStream(path)));
34. int i=0;
35. String line=buffer.readLine().trim();
36. while(line!=null){
37. word_to_id.put(line, i++);
38. line=buffer.readLine().trim();
39. }
40. buffer.close();
42. } catch (Exception e) {
44. }
45. System.out.println("word_to_id.size is:"+word_to_id.size());
47. }
49. public static void main(String[] args) {
50. byte[] graphDef = readAllBytesOrExit(Paths.get(
51. "/Users/shuubiasahi/Desktop/tensorflow/modelsavegraph",
52. "graph.db"));
53. Graph g = new Graph();
54. g.importGraphDef(graphDef);
55. Session sess = new Session(g);
56. String text="艹你麻痹的垃圾店家，劳资点的香干回锅肉套餐，你他麻痹炒个香干炒肉过来凑数，套餐内所有的东西都没看到，还尼玛口口声声说退款？退你麻痹，留着给你家人买棺材用吧，狗日的东西！";
57. int[][] arr=gettexttoid(text);
58. Tensor input = Tensor.create(arr);
59. Tensor x = Tensor.create(1.0f);
60. Tensor result = sess.runner().feed("input_x", input).feed("keep_prob", x)
61. .fetch("score/pred_y").run().get(0);
63. long[] rshape = result.shape();
64. /*
65. * 模型为一个二分类模型，故nlabels=2，模型预测一条数据故batchsize=1
66. * 预测出来是一个1*2的数组，一条数据有两个概率
67. *
68. * */
69. int nlabels = (int) rshape[1];
70. int batchSize = (int) rshape[0];
72. float[][] logits = result.copyTo(new float[batchSize][nlabels]);
74. System.out.println("辱骂模型识别的概率为:"+logits[0][1]);
76. System.out.println("sucess");
78. }
80. private static byte[] readAllBytesOrExit(Path path) {
81. try {
82. return Files.readAllBytes(path);
83. } catch (IOException e) {
84. System.err.println("Failed to read [" + path + "]: "
85. + e.getMessage());
86. System.exit(1);
87. }
88. return null;
89. }
91. /*
92. * 序列默人长度为300
93. * */
94. public static int[][] gettexttoid(String text){
95. int[][] xpad = new int[1][300];
97. if(StringUtils.isBlank(text)){
98. return xpad;
99. }
101. char[] chs=text.trim().toLowerCase().toCharArray();
102. List<Integer> list=new ArrayList<Integer>();
103. for(int i=0;i<chs.length;i++){
104. String element=Character.toString(chs[i]);
105. if(word_to_id.containsKey(element)){
106. list.add(word_to_id.get(element));
107. }
108. }
109. if(list.size()==0){
110. return xpad;
111. }
112. int size = list.size();
113. Integer[] targetInter= (Integer[]) list.toArray(new Integer[size]);
114. int[] target= Arrays.stream(targetInter).mapToInt(Integer::valueOf).toArray();
115. if(size<=300){
116. System.arraycopy(target, 0, xpad[0], xpad[0].length-size, target.length);
117. }else{
118. System.arraycopy(target, size-xpad[0].length, xpad[0], 0, xpad[0].length);
120. }
121. return xpad;
122. }
124. /*
125. * 自定义长度
126. * */
127. public static int[][] gettexttoid(String text,int maxlen){
128. if(maxlen<1){
129. throw new IllegalArgumentException("maxlen长度必须大于等于1");
130. }
132. int[][] xpad = new int[1][maxlen];
134. if(StringUtils.isBlank(text)){
135. return xpad;
136. }
138. char[] chs=text.trim().toLowerCase().toCharArray();
139. List<Integer> list=new ArrayList<Integer>();
140. for(int i=0;i<chs.length;i++){
141. String element=Character.toString(chs[i]);
142. if(word_to_id.containsKey(element)){
143. list.add(word_to_id.get(element));
144. }
145. }
146. if(list.size()==0){
147. return xpad;
148. }
149. int size = list.size();
150. Integer[] targetInter= (Integer[]) list.toArray(new Integer[size]);
151. int[] target= Arrays.stream(targetInter).mapToInt(Integer::valueOf).toArray();
152. if(size<=maxlen){
153. System.arraycopy(target, 0, xpad[0], xpad[0].length-size, target.length);
154. }else{
155. System.arraycopy(target, size-xpad[0].length, xpad[0], 0, xpad[0].length);
157. }
159. return xpad;
160. }
164. }

结果对比：

java结果:

python启动的service结果:

结果一致，下周计划写个java service项目，把模型部署上线。

不过我碰到过问题，在java中做预测，1秒最多只能预测十来条文本，这感觉太慢了，不知道什么原因，我机器用的cpu，不知道是否要用gpu做预测，有知道的告诉我

联系我  xuxu_ge