【问题标题】:exception when python KCL connects to kinesis streampython KCL连接到kinesis流时出现异常
【发布时间】:2016-03-02 04:40:13
【问题描述】:

我正在尝试将 kinesis 集成到火花流中,为此我正在使用 python 和 KCL。从 kinesis 阅读时,我大多数时候都会遇到此异常

'utf8' 编解码器无法解码位置 940 中的字节 0xf1:无效的继续字节

谁能告诉我如何解决这个问题 这就是我创建流的方式

kinesisStream = KinesisUtils.createStream(ssc, APPLICATION_NAME, STREAM_NAME, ENDPOINT, REGION_NAME, INITIAL_POS, CHECKPOINT_INTERVAL, awsAccessKeyId =AWSACCESSID, awsSecretKey=AWSSECRETKEY) 

【问题讨论】:

  • 您确定要发送到 Kinesis 的数据是 UTF-8 吗?似乎您可能会收到一些 latin-1 (ISO-8859-1) 输入,这可能是导致此类错误的原因之一。
  • 是的,你很正常,我没有发送正确的 utf-8 格式。我会将这个问题标记为已完成。请将您的评论作为答案,我会将其标记为答案

标签: python apache-spark amazon-kinesis amazon-kcl


【解决方案1】:

您应该检查以确保进入流的数据是 UTF-8。

尝试将 Latin-1 (ISO-8859-1) 解码为 UTF-8 可能是导致此类错误的原因之一。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-07-14
    • 1970-01-01
    • 1970-01-01
    • 2016-08-20
    • 1970-01-01
    • 2012-04-19
    • 2018-10-17
    相关资源
    最近更新 更多