使用 NLTK/Python3 对未拆分的工作进行标记

Question

我有未拆分的单词，例如PageMetadataServiceConsumer、PowerSellerUpdateConsumerApplication、MetaDataDomain 等。这些单词没有任何标点符号或动词。但是当我们看到这个词时，我们就知道它们是由什么组成的。

有没有办法使用 nltk 将 PowerSellerUpdateConsumerApplication 拆分为 Power、Seller、Update、Consumer、Application？

Answer 1

您可以尝试以下方法：

这个想法是在大写字符的左侧附加一个分隔符字符串（在下面的字符串中是###）......如果你以某种方式认为###可能会显示为一个字符串，那么你可以使用类似 ~!@*@&$@#!或者任何你认为 100% 安全不会出现在字符串中的东西。

Run Here

import re

regex = r"([A-Z]+)"
test_str = "agePowerSellerUpdateConsumerApplicationMetaDataDomainageMetadataServiceConsumerBBc"
subst = "###\\1"
result = re.sub(regex, subst, test_str, 0)

if result:
  print(re.split("###", result))

Answer 2

import re
s='PageMetadataServiceConsumer, PowerSellerUpdateConsumerApplication, MetaDataDomain'
reg=r'[A-Z](?![a-z]*\b)[a-z]+'
a=re.sub(reg,'\g<0> ',s)
print(a)

---

输出

Page Metadata Service Consumer, Power Seller Update Consumer Application, Meta Data Domain

---

说明

[A-Z]        #First char with capital letter
(?!          #START Negative Look ahead: Do not match if the first char is followed by this
[a-z]*\b    #do not match if it ends with a word boundary \b(last part)
)            #END Negative Look ahead
[a-z]+      #Select all the remaining lower case chars.


a=re.sub(reg,'\g<0> ',s) #Replace the matches with match \g<0> by appending a space to it.

工作正则表达式here。 工作python示例here。

---

如果您只想要单词，请使用以下内容：-

reg=r'[A-Z]+[a-z]+'
for a in re.findall(reg,s):
  print(a)

---

输出

Page
Metadata
Service
Consumer
Power
Seller
Update
Consumer
Application
Meta
Data
Domain