【问题标题】:How to add session properties of presto in spark如何在spark中添加presto的会话属性
【发布时间】:2022-01-24 20:01:23
【问题描述】:

有什么方法可以在 spark 中设置 presto 的会话参数,同时从中构建 Dataframe。

public Dataset<Row> readPrestoTbl(){
   Dataset<Row> stgTblDF = sparksession
                            .read()
                            .jdbc(dcrIdentity.getProperty(env + "." + "presto_url")
                            + "?SSL="
                            + dcrIdentity.getProperty(env + "."
                                    + "presto_client_SSL"), demoLckQuery, getDBProperties());
}

private Properties getDBProperties() {
        Properties dbProperties = new Properties();
        dbProperties.put("user", prestoCredentials.getUsername());
        dbProperties.put("password", prestoCredentials.getPassword());
        dbProperties.put("Driver", "io.prestosql.jdbc.PrestoDriver");
        dbProperties.put("task.max-worker-threads", "10");
        
        return dbProperties;
      }

我设置 task.max-worker-threads 这个属性的方式是有任何选项来设置会话属性,例如 required_workers_count 或 query_max_run_time 等。

我也尝试了以下选项,但每次都显示无法识别的连接属性“sessionProperties”。

在添加属性时

 dbProperties.put("sessionProperties","task.max-worker-threads:10");

在 spark 中加载时

.option("sessionProperties", "task.max-worker-threads:10")

【问题讨论】:

标签: apache-spark apache-spark-sql presto trino presto-jdbc


【解决方案1】:

Trino(以前称为 PrestoSQL)JDBC 驱动程序支持 sessionProperties 属性。
https://trino.io/docs/current/installation/jdbc.html?highlight=sessionproperties#parameter-reference

另外,这是一篇关于品牌重塑的博文。
https://trino.io/blog/2020/12/27/announcing-trino.html

【讨论】:

  • 我按照问题的解释进行了尝试,但它也给出了相同的异常:无法识别的连接属性'sessionProperties'
  • 您使用的是什么 JDBC 驱动程序版本?另外,帖子中有两个问题。第一个应该解决我的答案。第二个是不同的问题。
  • 我使用的是最新版本 350,在创建 spark 数据框时,它会将异常 sessionproperties 作为无法识别的属性提供。是否有任何语法错误或其他问题。如果您能详细说明它将是什么不同的问题真的很有帮助。io.prestosqlpresto-jdbc350
  • 您的问题没有包含足够的信息,所以我的回答在您的第一篇文章中是正确的。现在您的问题与stackoverflow.com/questions/68989208/… 重复。如果您想交互式调试,我建议您在社区 Slack 中询问。 trino.io/slack.html
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-08-16
  • 2021-07-14
  • 2013-07-19
  • 2014-04-18
  • 2019-10-12
相关资源
最近更新 更多