【问题标题】:Hive performance to create Dashboard using Tableau?使用 Tableau 创建仪表板的 Hive 性能?
【发布时间】:2019-05-08 09:23:22
【问题描述】:

我们计划在 Azure 云中实施一个项目,其中数据存储现在将是 Azure 数据湖,未来将实施 HDP,ADLS 将是扩展的数据节点。我们希望从 ADLS 公开数据以使用 Tableau 创建仪表板。最初的计划是使用 Hive,Tableau 将通过 Hive 连接到数据。但是性能问题出现了:

  1. 将有多个用户可以通过 Tableau(100+) 访问数据

  2. 我们还必须通过 API 调用将数据暴露给不同的门户。

这意味着将同时建立多个连接,这将影响 hive 。我的问题是:

  1. hive 能否用最少的时间达到目​​的?

  2. 如何衡量性能?

  3. 我不想让我的用户在 tableau 中运行查询后坐下来等待很长时间才能看到仪表板。

您能分享一下您在这个设计问题上的经验吗?我们应该使用 Hive 还是应该使用其他一些性能更好的工具来处理 tableau 和 HDFS 存储。有人建议我使用 Azure SQL Server 并将 Tableau 连接到 SQL Server。但它又是旧时尚,而且成本问题也与每个查询的执行有关。

如果您有更好的解决方案经验请分享,将不胜感激。

提前致谢。

【问题讨论】:

    标签: sql-server hadoop hive tableau-api


    【解决方案1】:

    Hive LLAP 可以工作,如果你可以安装它的话。

    否则,在我的工作中,我们在 S3 数据上使用 PrestoDB 和 Tableau 有很好的经验。

    有些团队使用 Spark SQL,你可以设置一个 Spark Thrift 服务器,它应该与 Hive JDBC/ODBC 驱动程序兼容

    【讨论】:

    • 嗨@cricket_007,感谢您的加入。我很欣赏你的建议。我想尝试所有 3 个选项,并想衡量最终批准的性能。为此,我计划为每一个开发一个 POC。您能否分享我可以用来测量性能的任何性能测试工具的经验?这也将是一个很大的帮助。提前致谢。
    • 嗯,有 TPC-DS 基准测试(大多数 SQL 数据库/工具使用)或 YCSB...但是查询性能差异很大您的实际数据和硬件以及查询模式(大量连接、数据存储方式等)
    猜你喜欢
    • 2017-07-31
    • 1970-01-01
    • 2019-11-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-10-19
    • 1970-01-01
    • 2020-04-16
    相关资源
    最近更新 更多