学习spark已经有一段时间了,做了一个共享单车的项目,现在记录一下。

首先说一下这个项目的一个整体流程:
首先要有一个供用户使用的微信小程序,然后还有一个后台管理系统,用于记录用户的行为数据,后台将用户的行为数据保存到mongodb中,然后使用spark对数据进行分析,生成报表系统。

整体流程图:
共享单车项目(一)--项目简介

web系统架构图:
共享单车项目(一)--项目简介

整体项目架构图:

共享单车项目(一)--项目简介
然后这个项目所用到的技术:

1.微信小程序–供用户使用
2.sparingBoot–web后台,用于保存用户数据,单车的开锁,计费,充值等相关功能
3.nginx–负载均衡服务器集群
4.mysql–存储一些规则的数据
5.redis–实时计算(json形式)
6.mongodb–用户存储用户行为数据,日志,以及单车信息(json形式)
7.Elasticsearch–实时查找和数据分析
8.spark–用于数据分析
9.flume和Kafka–用户收集用户数据

相关文章:

  • 2021-12-03
  • 2021-12-10
  • 2021-10-01
  • 2021-10-31
  • 2021-11-20
  • 2021-10-21
  • 2022-01-01
猜你喜欢
  • 2021-12-14
  • 2021-10-09
  • 2018-12-25
  • 2021-06-18
  • 2021-05-12
  • 2022-12-23
  • 2022-01-07
相关资源
相似解决方案