我在 AWS EC2 上的七个 m4.2xlarge Red Hat 实例上部署了 Hortonworkks 数据平台 (HDP2.4)。集群有 Spark，我通过连接 Tableau 来使用 Spark 进行查询。我被问及查询速度，我不确定如何估计查询速度。我应该考虑哪些因素，或者是否有直接的方法可以了解 Spark 集群的查询速度？
【问题讨论】：
标签： amazon-web-services apache-spark amazon-ec2 tableau-api hortonworks-data-platform
我也在做同样的分析。渲染表格报告时速度似乎很慢。因此，要分析速度，您需要查看将 Tableau 连接到 Spark 集群的日志。
在我们的例子中，它是 Thrift Server 2，日志位于：/var/log/spark/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-<<ip>>.out 您将在日志名称的末尾有一个 IP 地址。
查看日志时，您会看到INFO SparkExecuteStatementOperation: Running query 和一个查询。为仪表板执行的查询太多了。
你可以得到一个高层次的想法。如果您想要深入分析，请查看 EMR 集群详细信息页面中 资源管理器 中的 Thrift Server 阶段。在资源管理器中，您还可以看到用于查询的容器。
或者，您可以获取查询并在 Spark 上运行相同的查询，看看它的执行情况。
【讨论】：