读取数据时如何删除unicode？答案

【问题标题】：How to remove unicode when reading data?读取数据时如何删除unicode？
【发布时间】：2016-04-01 11:19:32
【问题描述】：

我有以下一行 Python 代码：

trans = data.map(lambda line: line.strip().split())

生成 Unicode 字符串，例如：

u'Hello',u'word'

我想获取普通的 UTF-8 或 ASCII 字符串

'Hello','word'

我尝试将字符串转换为 UTF-8，例如

trans = data.map(lambda line: line.strip().split().encode("utf-8"))

或

trans = data.map(lambda line: line.strip().split().encode('ascii','ignore'))

但这给出了一个错误：

AttributeError: 'list' object has no attribute 'encode'

谁能告诉我怎么做？

更新：

数据是 scv 文件， trans 是 RDD

【问题讨论】：

【解决方案1】：

您的映射函数返回一个 unicode 列表，因此您可以使用列表推导来遍历这些并将它们转换为字符串。

trans = data.map(lambda line: [str(word) for word in line.strip().split()])

【讨论】：

【解决方案2】：

试试：

ascii = data.map(str)

这将通过在每个元素上运行str(element) 将data 中的每个元素从unicode 转换为str。

【讨论】：

@zero323，我使用的map是python自带的map，它不一样，但可能更合适，rdd.py的src - github.com/apache/spark/blob/master/python/pyspark/rdd.py#L280
我知道，但它不会在这里工作，相信我 :) RDD 不可迭代。
我明白了，那就是你的答案:)

【解决方案3】：

为什么不简单地编码和拆分：

data = sc.textFile("README.md")
trans = data.map(lambda x: x.encode("ascii", "ignore").split())
trans.first()
## ['#', 'Apache', 'Spark']

【讨论】：