DSE Spark Shell 身份验证答案

【问题标题】：DSE Spark Shell AuthenticationDSE Spark Shell 身份验证
【发布时间】：2017-06-28 09:47:00
【问题描述】：

我有一个运行 spark 的 DSE 4.5 安装。我需要一些帮助来从 Spark Shell 传递 cassandra 集群的用户名/密码。

我已将这些属性添加到 conf/spark-default.conf 文件中

spark.cassandra.auth.username=user
spark.cassandra..auth.password=pass

然后使用

启动我的 spark shell

dse spark

但是当我尝试 sc.cassandraTable 时仍然看到错误

com.datastax.driver.core.exceptions.AuthenticationException: Authentication error on host /11.111.11.11:9042: Host /11.111.11.11:9042 requires authentication, but no authenticator found in Cluster configuration
    at com.datastax.driver.core.AuthProvider$1.newAuthenticator(AuthProvider.java:38)
    at com.datastax.driver.core.Connection.initializeTransport(Connection.java:138)
    at com.datastax.driver.core.Connection.<init>(Connection.java:111)
    at com.datastax.driver.core.Connection$Factory.open(Connection.java:432)
    at com.datastax.driver.core.ControlConnection.tryConnect(ControlConnection.java:216)
    at com.datastax.driver.core.ControlConnection.reconnectInternal(ControlConnection.java:171)
    at com.datastax.driver.core.ControlConnection.connect(ControlConnection.java:79)
    at com.datastax.driver.core.Cluster$Manager.init(Cluster.java:1104)

【问题讨论】：

标签： cassandra apache-spark datastax-enterprise

【解决方案1】：

看起来你可以执行这个命令

dse spark -Dcassandra.username=user -Dcassandra.password=pass

参考： http://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/sec/secIntrnlAuth.html?scroll=secItrnlAuth__authentication-for-hadoop-tools

【讨论】：

【解决方案2】：

这对我有用：

dse -u cassandra -p cassandra spark

【讨论】：