没有 Hadoop/Hive 的 Apache Kylin答案

【问题标题】：Apache Kylin without Hadoop/Hive没有 Hadoop/Hive 的 Apache Kylin
【发布时间】：2020-03-07 00:35:02
【问题描述】：

我使用 Snowflake 作为 DWH，使用 Spark 作为 ETL，但我没有 Hive 表。
是否可以在没有 Hadoop 生态系统的情况下使用 Apache Kylin？

【问题讨论】：

【解决方案1】：

从我读过的内容来看，这很复杂。为了利用分布式系统上的分析，我建议的一些替代方法是使用物化视图从 Snowflake 中的每个分布式系统的部分中过滤您想要的数据详细了解物化视图

还有用于查询分析的预览功能、数据交换？

希望对您有所帮助，抱歉，我对 Apache Kylin 帮助不大。

【讨论】：

【解决方案2】：

Kyligence Cloud 基于 Apache Kylin 核心，但基于 AWS 和 Azure 构建的云产品提供了无需 Hadoop 直接连接到 Snowflake 的能力。点击此处了解更多信息：https://kyligence.io/news/kyligence-releases-cloud-native-olap-for-azure-aws-and-google-cloud-platform/

【讨论】：

【解决方案3】：

答案是否定的。它不能直接从 Spark Data 帧中读取，它支持的数据源是 Hive、Kafka 和 RDBMS。

【讨论】：

数据帧不存储在任何地方，反正它们只是一种运行时格式
我没有投反对票，也没有办法知道谁投了反对票。您说“直接读取”这一事实并不意味着您已将数据帧存储在任何地方。 Spark 可以写入 Hbase，不仅是你列出的那些地方
我很抱歉当时责怪你。正如您所提到的，Spark 可以写入 HBase，但这不是我需要的。我不希望它只在 HBase 上，而是作为 Kylin 的输入，它本身创建其 OLAP 多维数据集并将其存储在其存储中（目前只有 HBase）