物联网项目实战，亿级项目实战Java技术开发实现

小白教你用java模仿大数据物联网项目系列——环保vocs监测

一、前言

本物联网系列

一、用netty做一个环保hj212协议即时通讯工具

二、零基础用uniapp快速开发实现MQTT设备中心附后台接口
 三、MQTT服务器搭建实现物联网通讯
 四、springboot + rabbitmq 做智能家居以及web显示未读消息

小编最近在实战企业版物联网监测项目，模仿的是某大厂的项目，仅参考了数据库和前端业务逻辑…其他都靠猜…基本用时1个半月，一个人做查询部分，一个人做增加部分
思路 =====》 1.数采仪数据解析——2.数据处理（数据清洗）——3.后台业务处理（目前更多的是查询） ——4.页面展示（目前还未能考虑到性能，
大数据主要涉及了mongdb，数据库分了两种：关系型数据库 mysql, 非关系型数据库redis，mongdb
mongdb:主要是放了数据采集仪接收到的实时数据、和各种报警数据
redis：主要记录在线数据（来处理实现离线数据的显示；）
mysql：主要记录了站点与企业、设备、用户的一些普通数据

在这里插入图片描述

二、数据处理

数采仪（难度：基础）

接受、解析数采仪发送的数据：

– 1.理解为操作数采仪、和我们的接收的电脑为同一个端口
数采仪通过ip报文的形式通过这个端口（6666）发送给电脑（6666），电脑要打开这个端口，通过网络助手终端工具能获取到这个端口的数据。

解析hj212数据（难度：基础）

参考环境212标准进行解析
在这里插入图片描述

思路：首先我们参考了网上的一些现有的资料，其次根据hj212来，用java语言解析，方法大概是字符串一点点的解析；比如实时数据，分钟数据，小时数据都有不同的编码，其次2005，和2017协议的数据报文形式有点不同；主要我之前在网上找到的yimeiao解析工具，05协议接收不到（我同事解析的时候说是不难的，协议没啥不一样）。

核心代码

package BOOT-INF.classes.com.shbykj.utils.net;

import com.mongodb.client.FindIterable;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoCursor;
import com.mongodb.client.MongoDatabase;
import com.mongodb.client.model.Filters;
import com.shbykj.pojo.RealData;
import com.shbykj.service.DivisorService;
import com.shbykj.service.PointInfoService;
import com.shbykj.utils.DateUtils;
import com.shbykj.utils.config.CollectionMapping;
import com.shbykj.utils.core.T212Parser;
import com.shbykj.utils.db.MongoDBConnection;
import com.shbykj.utils.db.RedisConnection;
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelFutureListener;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.CharsetUtil;
import io.netty.util.concurrent.GenericFutureListener;
import java.io.StringReader;
import java.math.BigInteger;
import java.net.SocketAddress;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.CopyOnWriteArrayList;
import org.bson.Document;
import org.bson.conversions.Bson;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.Jedis;

public class TCPHandler extends SimpleChannelInboundHandler<ByteBuf> {
  @Autowired
  private DivisorService divisorService;
  
  @Autowired
  private PointInfoService pointInfoService;
  
  private static final MongoDatabase DATABASE = MongoDBConnection.getDatabase();
  
  private static final Jedis JEDIS = RedisConnection.getJedis();
  
  public static final List<Document> list = new CopyOnWriteArrayList<>();
  
  protected void channelRead0(ChannelHandlerContext ctx, ByteBuf m) throws Exception {
    byte[] data = new byte[m.readableBytes()];
    m.readBytes(data);
    String msg = new String(data, CharsetUtil.UTF_8);
    SocketAddress address = ctx.channel().remoteAddress();
    System.out.println(address.toString().substring(1) + "---" + (new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")).format(new Date()));
    System.out.println(msg);
    RealData realData = parse(msg);
    MongoCollection<Document> connection = DATABASE.getCollection("point_info");
    Bson bson = Filters.eq("mn", realData.getMn());
    FindIterable<Document> documents = connection.find(bson);
    for (MongoCursor<Document> mongoCursor1 = documents.iterator(); mongoCursor1.hasNext(); ) {
      Document document = mongoCursor1.next();
      Integer id = (Integer)document.get("pointId");
      realData.setPointId(id);
    } 
    if (realData == null)
      return; 
    if (!msg.contains("CN=2011")) {
      Document document = (new Document("dataTime", realData.getQn())).append("mn", realData.getMn()).append("pointId", realData.getPointId()).append("metrics", realData.getData());
      if (msg.contains("CN=2051"))
        MongoDBConnection.getConnection(CollectionMapping.MINUTE.getcollectName()).insertOne(document); 
      if (msg.contains("CN=2061"))
        MongoDBConnection.getConnection(CollectionMapping.HOUR.getcollectName()).insertOne(document); 
      if (msg.contains("CN=2031"))
        MongoDBConnection.getConnection(CollectionMapping.DAY.getcollectName()).insertOne(document); 
    } else {
      Document document = (new Document("dataTime", realData.getQn())).append("mn", realData.getMn()).append("pointId", realData.getPointId()).append("metrics", realData.getData());
      MongoDBConnection.getConnection(CollectionMapping.SECOND.getcollectName()).insertOne(document);
    } 
    Bson bson1 = Filters.eq("mn", realData.getMn());
    FindIterable<Document> docs = connection.find(bson1);
    for (MongoCursor<Document> mongoCursor2 = docs.iterator(); mongoCursor2.hasNext(); ) {
      Document doc = mongoCursor2.next();
      Integer pointId = doc.getInteger("pointId");
      JEDIS.hset("onlineLastTime", Integer.toString(pointId.intValue()), (new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")).format(new Date()));
    } 
  }
  
  private RealData parse(String msg) {
    RealData realTimeData = new RealData();
    String dataTime = "";
    try {
      StringReader reader = new StringReader(msg);
      T212Parser t212Parser = new T212Parser(reader);
      char[] header = t212Parser.readHeader();
      char[] dataLen = t212Parser.readDataLen();
      char[] data = t212Parser.readData(Integer.parseInt(new String(dataLen)));
      char[] readCrc = t212Parser.readCrc();
      int crc = T212Parser.crc16Checkout(data, data.length);
      if (Integer.parseInt((new BigInteger(new String(readCrc), 16)).toString()) == crc) {
        String str = new String(data);
        String[] strings = str.substring(0, str.length() - 2).split(";");
        Map<String, Map<String, Map<String, String>>> map2 = new HashMap<>();
        Map<String, Map<String, String>> map1 = new HashMap<>();
        boolean flag = false;
        for (int i = 0; i < strings.length; i++) {
          if (strings[i].contains("QN")) {
            Date date = DateUtils.stringToDate(strings[i].split("=")[1], "yyyyMMddHHmmssSSS");
            realTimeData.setQn(date);
          } 
          if (strings[i].contains("ST"));
          if (strings[i].contains("CN"));
          if (strings[i].contains("PW"));
          if (strings[i].contains("MN"))
            realTimeData.setMn(strings[i].split("=")[1]); 
          if (strings[i].contains("DataTime"))
            dataTime = strings[i].split("=")[2]; 
          if ((i > 0 && strings[i - 1].contains("CP")) || flag) {
            if (strings[i - 1].contains("CP"))
              flag = true; 
            String[] strings2 = strings[i].split(",");
            Map<String, String> map = new HashMap<>();
            for (int j = 0; j < strings2.length; j++) {
              String sufVal = strings2[j].split("-", 2)[1];
              String sufPreVal = sufVal.split("=")[0];
              String suf2Val = sufVal.split("=")[1];
              map.put(sufPreVal, suf2Val);
              if (j == strings2.length - 1) {
                String preVal = strings2[j].split("-", 2)[0];
                map1.put(preVal, map);
              } 
            } 
          } 
        } 
        map2.put(dataTime, map1);
        realTimeData.setData(map2);
      } else {
        realTimeData = null;
      } 
    } catch (Exception e) {
      realTimeData = null;
    } 
    if (realTimeData != null && 
      realTimeData.getQn() == null)
      try {
        Date date = DateUtils.stringToDate(dataTime, "yyyyMMddHHmmss");
        realTimeData.setQn(date);
      } catch (Exception e) {
        System.out.println();
      }  
    return realTimeData;
  }
  
  public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
    if (ctx.channel().isActive())
      ctx.channel().writeAndFlush(Unpooled.EMPTY_BUFFER).addListener((GenericFutureListener)ChannelFutureListener.CLOSE); 
  }
}

解析效果：

在这里插入图片描述

数据入库

重点：实时数据库mongdb

mongdb有两种业务点
一.实时数据业务显示（按数据类型就是换一个表名）
难点：分页查询、显示成前端所需要的格式：代表着前台显示的数据是在后台在数据库查询的数据组装的
mongdb聚合函数实现大数据量的分页查询参考

1.学会实用mongdb的高级聚合函数，springboot集成spring-data-mongdo，这样既实现了多种查询，和大数据量分页，大数据量优化查询迭代也比较好修改；注意管道查询的顺序与大数据排序需要一个参数来开启，xxxx：true
2.查询时的小技巧：先把mongdb语句写好在mongdb能查询出正确的数据，然后在用java来一点点的“翻译“处理
3.后台处理成前台数据：学会使用org.json.JsonObject,根据key遍历对象，重点先要知道自己前台需要什么样的数据格式，然后后台再一点点的调试，一点点的组装

在这里插入图片描述

二.报警数据业务显示（超标数据，异常数据，零值数据，恒指数据）

redis数据库

难点：数据库分库查询，可能涉及到集群，还未深入涉及

springboot集成redis

mysql数据库

前面说过mysql装的是一些普通数据，比如站点信息表，企业信息表，站点与企业中间表，用户信息，设备信息，还有其他等等。

1.这里涉及到一个重要的信息表：站点表，站点表里主键id和mn都是是唯一的，这样就形成了一个站点与数采仪的mn对应关系
2.同时有离线表记录信息

三、效果：环保vocs监测系统

后台

主要模块

1.客户管理
企业管理、站点管理、设备管理、因子管理、企业用户管理
2.系统管理
报文日志、用户管理、权限管理
3.地图监控
4.数据中心
实时监测、恒值预警、零值预警、异常预警、超标预警、数据报表、设备报警

技术选型：springboot+mybatis+mongdb+mysql+redis
其他技术：poi报表功能，excel下载

前端

技术选型：layui+echarts+thymeleaf
其他技术：百度地图，

这个监测页面比较重要（我几乎把整个系统完成到最后才来处理这个页面的逻辑）：用了mysql+mongdb+redis
实现是否在线+异常实时的监测

在这里插入图片描述

微信小程序端

微信授权：
在这里插入图片描述
登录授权成功后:

监测站点页面：

实时数据页面：