jupyter笔记本中的双百分比spark sql

Question

我在 Spark EMR 集群上使用 Jupyter Notebook，想了解有关某个命令的更多信息，但我不知道要搜索的正确技术堆栈是什么。是火花吗？ Python？ Jupyter 特殊语法？ Pyspark？

当我尝试用谷歌搜索时，我只得到了几个结果，而且没有一个实际上包含我引用的内容。就好像它忽略了 %%。

“%%spark_sql”的作用是什么，它的来源是什么，你可以像 -s 和 -n 这样传递给它的参数是什么？

一个例子可能看起来像

%%spark_sql -s true
select 
*
from df

Answer 1

这些被称为magic commands/functions。尝试在 Jupyter 单元格中运行 %pinfo %%spark_sql 或 %pinfo2 %%spark_sql，看看它是否为您提供了有关 %%spark_sql 的详细信息。