从 Unicode 格式的字符串中删除标点符号

Question

我有一个从字符串列表中删除标点符号的函数：

def strip_punctuation(input):
    x = 0
    for word in input:
        input[x] = re.sub(r'[^A-Za-z0-9 ]', "", input[x])
        x += 1
    return input

我最近修改了我的脚本以使用 Unicode 字符串，这样我就可以处理其他非西方字符。这个函数在遇到这些特殊字符时会中断，只返回空的 Unicode 字符串。如何可靠地从 Unicode 格式的字符串中删除标点符号？

Answer 1

你可以使用unicode.translate()方法：

import unicodedata
import sys

tbl = dict.fromkeys(i for i in xrange(sys.maxunicode)
                      if unicodedata.category(unichr(i)).startswith('P'))
def remove_punctuation(text):
    return text.translate(tbl)

你也可以使用regex module支持的r'\p{P}'：

import regex as re

def remove_punctuation(text):
    return re.sub(ur"\p{P}+", "", text)

Answer 2

如果你想在 Python 3 中使用 J.F. Sebastian 的解决方案：

import unicodedata
import sys

tbl = dict.fromkeys(i for i in range(sys.maxunicode)
                      if unicodedata.category(chr(i)).startswith('P'))
def remove_punctuation(text):
    return text.translate(tbl)

Answer 3

您可以使用unicodedata 模块的category 函数遍历字符串以确定字符是否为标点符号。

有关category 的可能输出，请参阅General Category Values 上的unicode.org 文档

import unicodedata.category as cat
def strip_punctuation(word):
    return "".join(char for char in word if cat(char).startswith('P'))
filtered = [strip_punctuation(word) for word in input]

---

此外，请确保您正确处理编码和类型。此演示文稿是一个很好的起点：http://bit.ly/unipain

Answer 4

基于Daenyth answer 的更短版本

import unicodedata

def strip_punctuation(text):
    """
    >>> strip_punctuation(u'something')
    u'something'

    >>> strip_punctuation(u'something.,:else really')
    u'somethingelse really'
    """
    punctutation_cats = set(['Pc', 'Pd', 'Ps', 'Pe', 'Pi', 'Pf', 'Po'])
    return ''.join(x for x in text
                   if unicodedata.category(x) not in punctutation_cats)

input_data = [u'somehting', u'something, else', u'nothing.']
without_punctuation = map(strip_punctuation, input_data)