【发布时间】:2016-03-02 04:40:13
【问题描述】:
我正在尝试将 kinesis 集成到火花流中,为此我正在使用 python 和 KCL。从 kinesis 阅读时,我大多数时候都会遇到此异常
'utf8' 编解码器无法解码位置 940 中的字节 0xf1:无效的继续字节
谁能告诉我如何解决这个问题 这就是我创建流的方式
kinesisStream = KinesisUtils.createStream(ssc, APPLICATION_NAME, STREAM_NAME, ENDPOINT, REGION_NAME, INITIAL_POS, CHECKPOINT_INTERVAL, awsAccessKeyId =AWSACCESSID, awsSecretKey=AWSSECRETKEY)
【问题讨论】:
-
您确定要发送到 Kinesis 的数据是 UTF-8 吗?似乎您可能会收到一些 latin-1 (ISO-8859-1) 输入,这可能是导致此类错误的原因之一。
-
是的,你很正常,我没有发送正确的 utf-8 格式。我会将这个问题标记为已完成。请将您的评论作为答案,我会将其标记为答案
标签: python apache-spark amazon-kinesis amazon-kcl