数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算。

1、数据库选型:

参考:数据库选型

技术选型的主要考虑因素有哪些

2、数仓项目

数据采集传输:Flume(文件)、kafka(文件,数据量过大做消峰)、Sqoop(mysql),Logstash(小公司)、DataX
数据存储:Mysql,HDFS(hive)、Hbase、Redis、MongoDB(爬虫)、Redis
数据计算:Hive、Tez(基于内存)、Spark、Flink、Storm
数据查询:Presto(即席、Apache)、Druid(德鲁伊)、Impala(CDH)、Kylin(多维查询)
数据可视化:Echarts、Superset、QuickBI、DataV
任务调度:Azkaban、Oozie
集群监控:Zabbix
元数据管理:Atlas

 

 

 

相关文章:

  • 2021-12-14
  • 2021-12-01
  • 2021-06-04
  • 2021-11-06
  • 2021-10-06
  • 2021-05-10
  • 2022-12-23
  • 2021-11-03
猜你喜欢
  • 2021-07-29
  • 2021-05-06
  • 2021-10-25
  • 2021-04-23
  • 2021-07-08
  • 2021-11-23
  • 2021-04-15
相关资源
相似解决方案