将长字符串转换为矩阵，并对其进行清理

Question

我有一个很大的文本文件，它只是一个很长的字符串。这是一个巨大的文本块。

此文件的原始创建者试图通过在一定数量的字母后设置\n 制表符来使其成为“矩阵”。

string = "adfajdslfkajsddf&&adfadfladfsjdfl\nadk...fhaldkfjahsdf"

使用带有模块re（可能）的正则表达式，我如何将这个大字符串的每个字符输入到它原本应该是的矩阵中？

此外，字符串中还有一些乱码，如“&”、“#”和“{”。有标准模块可以使用吗？

我想人们可以获取原始字符串，根据 '\n' 标记的位置将其分解为几个字符串，然后将这些字符串以某种方式按字符串的每个单独字符放入一个 numpy ndarray。

Answer 1

您可以通过多种方式做到这一点，您可以检查每个字符是否为字母数字：

stg = "abcde123]\nefghi456}\njk{lmn789"
import numpy as np

arr = np.array([ch for line in stg for ch in line if ch.isdigit() or ch.isalpha()])

或者如果所有的垃圾都是标点符号，你可以str.translate:

from string import punctuation

junk = {ord(ch):"" for ch in punctuation + "\n"}


arr = np.array(list(stg.translate(junk)))

两者都会给你一个平面列表：

['a' 'b' 'c' 'd' 'e' '1' '2' '3' 'e' 'f' 'g' 'h' 'i' '4' '5' '6' 'j' 'k' 'l' 'm' 'n' '7' '8' '9']

如果你想要多维数组，你可以在换行符上拆分：

arr = np.array([[ch for ch in line ] for line in stg.translate(junk).split()])

arr = np.array([[ch for ch in line if ch.isdigit() or ch.isalpha()] for line in stg.split()])

这会给你：

[['a' 'b' 'c' 'd' 'e' '1' '2' '3']
 ['e' 'f' 'g' 'h' 'i' '4' '5' '6']
 ['j' 'k' 'l' 'm' 'n' '7' '8' '9']]

对于 python2，translate 有点不同：

from string import punctuation
import numpy as np


stg = "abcde123]\nefghi456}\njk{lmn789"
arr = np.array([[ch for ch in line ] for line in stg.translate(None, punctuation).split()])
print(arr)