在 Thrift 服务器中缓存 Spark 表答案

【问题标题】：cache spark table in thrift server在 Thrift 服务器中缓存 Spark 表
【发布时间】：2016-08-26 05:49:50
【问题描述】：

当使用 jupyter 将一些数据缓存到 spark 中时（使用 sqlcontext.cacheTable），我可以看到为在 Jupyter 中运行的 sparkcontext 缓存的表。但现在我想使用 thrift 服务器通过 odbc 从 BI 工具访问那些缓存的表。检查 thriftserver 缓存时，我没有看到任何表，问题是如何让这些缓存的表被 BI 工具使用？

我必须通过 jdbc 发送相同的 spark 命令吗？在这种情况下，上下文是否与当前会话相关？

问候，米格尔

【问题讨论】：

你是如何检查 thriftserver 缓存的？

标签： caching apache-spark

【解决方案1】：

我找到了解决方案。为了通过 thriftserver 缓存表以与 jdbc/odbc 客户端一起使用，我必须使用其中一个客户端的 CACHE TABLE，例如直线。完成此操作后，所有不同会话的表都在内存中。

确保您使用正确的 spark thriftserver 也很重要。为了知道只做一个show table；在直线上，如果你只得到一列，你就没有使用火花一，CACHE TABLE 将无法工作。

【讨论】：

注意，缓存可以在驱动本身，如果你使用动态工作分配（因为执行器可以被移除并重新生成）。