广播 TypeSafe Config 抛出异常用户类抛出异常：java.io.UTFDataFormatException：编码字符串太长：70601 字节？

Question

正如问题标题所说，我正在尝试将 TypeSafe 配置广播给执行程序，以便我的代码可以访问该配置。不幸的是，我遇到了一个例外

object AppConfigUtility {

  var config: Config = ConfigFactory.empty()

  var brConfig: Broadcast[Config] = _

  /**
    * Broadcast the config so it can be available for executors to use
    * @param sc
    */
  def broadCastConfig(sc: SparkContext): Unit = {

    brConfig = sc.broadcast(config)

  }

  def loadConfig(): Unit = {
    //some actual implementation of loading my application.conf file
  }
}

当我在 main 方法中调用 broadCastConfig 时，它会抛出以下异常

用户类抛出异常：java.io.UTFDataFormatException：编码字符串太长：70601字节

我的 application.conf 的最终大小仅为 3KB 或 3000 字节，这与 64KB 的限制相差无几，所以我不是遇到此错误的原因。

Answer 1

似乎您在application.conf 中有长字符串，这导致了问题..

以this :64KB String limit in Java data streams 为例，您可以证明这一点。

public static void main(String[] args) throws Exception {
    // generate string longer than 64KB
    StringBuilder sb = new StringBuilder();
    for (int i = 0; i < 10000; i++)
        sb.append("1234567890");
    String s = sb.toString();

    // write the string into the stream
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    DataOutputStream dos = new DataOutputStream(baos);
    dos.writeUTF(s);
    dos.close();
}

解决了类似但不同的问题here

我建议解析 application.conf 并将其设置为一个对象，然后使用广播将其发送给所有执行程序。

意思是..你可以发送任何可序列化的对象来广播...但是是application.conf的形式