将表情符号的Unicode字符串表示形式转换为python中的Unicode表情符号答案

【问题标题】：Convert unicode string representation of emoji to unicode emoji in python将表情符号的Unicode字符串表示形式转换为python中的Unicode表情符号
【发布时间】：2018-05-02 14:43:45
【问题描述】：

我在 Spark（PySpark 和 Pandas）上使用 Python2 来分析有关表情符号使用的数据。我有一个像u'u+1f375' 或u'u+1f618' 这样的字符串，我想分别转换为???? 和????。

我已经阅读了其他几篇 SO 帖子和 unicode HOWTO，试图掌握 encode 和 decode 无济于事。

这不起作用：

decode_udf = udf(lambda x: x.decode('unicode-escape'))
foo = emojis.withColumn('decoded_emoji', decode_udf(emojis.emoji))
Result: decoded_emoji=u'u+1f618'

这最终只能一次性完成，但在我将其应用于我的 RDD 时失败了。

def rename_if_emoji(pattern):
  """rename the element name of dataframe with emoji"""

  if pattern.lower().startswith("u+"):
    emoji_string = ""
    EMOJI_PREFIX = "u+"
    for part_org in pattern.lower().split(" "):
      part = part_org.strip();
      if (part.startswith(EMOJI_PREFIX)):
        padding = "0" * (8 + len(EMOJI_PREFIX) - len(part)) 
        codepoint = '\U' + padding + part[len(EMOJI_PREFIX):]
        print("codepoint: " + codepoint)
        emoji_string += codepoint.decode('unicode-escape')
        print("emoji_string: " + emoji_string)
    return emoji_string
  else:
    return pattern

rename_if_emoji_udf = udf(rename_if_emoji)

错误：UnicodeEncodeError: 'ascii' codec can't encode character u'\U0001f618' in position 14: ordinal not in range(128)

【问题讨论】：

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)的可能重复
在 python 2 中，u'u+1f618' 与 ???? 完全一样（概念上）。听起来您的问题可能是某些东西（可能是您的终端？）没有按照您想要的方式渲染角色？您能否详细说明您希望发生的事情、发生的地点以及实际发生的事情？
@TomDalton 不，u'\U0001f618' 与 u'????' 相同。
为什么不在 unicode 文本上使用简单的.replace？

标签： python unicode pyspark emoji

【解决方案1】：

正确打印表情符号的能力取决于所使用的 IDE/终端。由于 Python 2 的 print 将 Unicode 字符串编码为终端的编码，您将在不受支持的终端上获得 UnicodeEncodeError。您还需要字体支持。你的错误是在print。您已正确解码，但理想情况下您的输出设备应支持 UTF-8。

该示例简化了解码过程。我打印字符串的repr()，以防终端未配置为支持正在打印的字符。

import re

def replacement(m):
    '''Assume the matched characters are hexadecimal, convert to integer,
       format appropriately, and decode back to Unicode.
    '''
    i = int(m.group(1),16)
    return '\\U{:08X}'.format(i).decode('unicode-escape')

def replace(s):
    '''Replace all u+nnnn strings with the Unicode equivalent.
    '''
    return re.sub(ur'u\+([0-9a-fA-F]+)',replacement,s)

s = u'u+1f618 u+1f375'
t = replace(s)
print repr(t)
print t

输出（在 UTF-8 IDE 上）：

u'\U0001f618 \U0001f375'
? ?

【讨论】：