有没有办法从波斯语文本中删除标点符号？

Question

我想从我的文本文件中删除标点符号，这是一个英语-波斯语句子对数据。

我已经尝试了以下代码：

import string
import re
from numpy import array, argmax, random, take
import pandas as pd

# function to read raw text file
def read_text(filename):
    # open the file
    file = open(filename, mode='rt', encoding='utf-8')

    # read all text
    text = file.read()
    file.close()
    return text

# split a text into sentences
def to_lines(text):
  sents = text.strip().split('\n')
  sents = [i.split('\t') for i in sents]
  return sents


data = read_text("pes.txt")
pes_eng = to_lines(data)
pes_eng = array(pes_eng)

# Remove punctuation
pes_eng[:,0] = [s.translate(str.maketrans('', '', string.punctuation)) for s         
in pes_eng[:,0]]
pes_eng[:,1] = [s.replace("؟!.،,?" ,"") for s in pes_eng]

print(pes_eng)

上面的代码对英语句子有效，但对波斯语句子没有任何作用。

这里的输出是：

Traceback (most recent call last):
  File ".\persian_to_english.py", line 29, in <module>
    pes_eng[:,1] = [s.replace("؟!.،,?" ,"") for s in pes_eng]
  File ".\persian_to_english.py", line 29, in <listcomp>
    pes_eng[:,1] = [s.replace("؟!.،,?" ,"") for s in pes_eng]
AttributeError: 'numpy.ndarray' object has no attribute 'replace'

但我想要的是这样的：

['Who' 'چه کسی']

Answer 1

您可以使用列表推导来创建一个包含您想要的内容的新列表：

new_pes_eng = [s.replace("؟!.،,?" ,"") for s in pes_eng]

上面的行从pes_eng 列表项中删除标点符号（第一个参数中传递给replace() 的标点符号）。

Answer 2

使用这个：

import re
from string import punctuation

cleaned_string = re.sub(f'[{punctuation}؟،٪×÷»«]+', '', string)