| 大数据组件 | 版本 | 备注 |
|---|---|---|
| Hadoop/Yarn | 2.7.7 | |
| Hive | 1.2.1 | |
| Spark | 2.2.1 | |
| Clickhouse | 20.11.3.3 | |
| Zeppelin | 0.8.1 | |
| scala | 2.11.12 | |
| hadoop-mysql | 5.7.25 | mysql-5.7.25-linux-glibc2.12-x86_64 |
| jdk | 1.8.0_131 | |
| zookeeper | 3.6.2 | |
| knox | 1.6.1 | 安全 |
Atlas
作用： 记录并展示Hive表字段含义，以及表和字段之间的数据血缘关系。
局限： 依赖HBase和solr。
Azkaban
作用： 实现任务流执行，满足任务间依赖关系。
局限： 任务能添加依赖的任务，但是不能传参数，任务流中任意一条路线断了，不能这条路线重启执行。
| 其他组件 | 版本 | 备注 |
|---|---|---|
| Clickhouse | 20.11.3.3 | |
| PostgreSQL | 11.9 | |
| Zeppelin | 0.8.1 | |
| kafka | 2.5.0 | |
| flink | 1.12.1 | flink-1.12.0-bin-scala_2.11 |
| scala | 2.11.12 | |
| jdk | 1.8.0_131 | |
| mongodb | 4.4.4 | |
| mysql | 5.7.18 | |
| milvus | 0.10.5 | |
| datax | ETL工具 python2.7 | |
| docker | 19.03.0 |