文本标记器 - 从文本中提取单词和位置

Question

我有Set 的character 分隔符（DELIMITERS），例如. , 等。使用它我想拆分文本并获取带有它们在文本中的位置的单词。 如果您只想要文字，String.split() 可以正常工作。与StringTokenizer 相同。写了一些简单的方法来解决这个问题，但也许有更好的方法来实现这个结果？

public List<String> extractWords(String text){
    List<String> words = new ArrayList<>();
    List<WordPos> positions = new ArrayList<>();
    int wordStart = -1;
    for(int i=0; i < text.length(); i++){
        if(DELIMITERS.contains(text.charAt(i))){
            if(wordStart >=0){ //word just ended
                String word = text.substring(wordStart, i);
                positions.add(new WordPos(wordStart, i));
                words.add(word);
            }
            wordStart = -1;
        }else{ //not delimiter == valid word
            if(wordStart < 0){ //word just started
                wordStart = i;
            }
        }
    }
    return words;
}

// inner static class for words positions
public static class WordPos{
    int start;
    int end;
    public WordPos(int start, int end){
        this.start = start;
        this.end = end;
    }
}

Answer 1

从效率的角度来看，我认为您的解决方案还不错。 从美学方面（代码看起来如何），我会使用Apache Commons nStringUtils 做类似的事情（还没有尝试过）：

1. 使用以下方式吐出所有令牌： splitPreserveAllTokens()
2. 遍历生成的数组并存储令牌和我将从调用 lastIndexOf 获得的每个令牌的位置。

Answer 2

List<String> words = new ArrayList<>();
List<WordPos> positions = new ArrayList<>();
int index = 0;
String word = "";
StringTokenizer st = new StringTokenizer("., ");


while(st.hasMoreTokens()) {

word = st.nextToken();
words.add(word);
positions.add(new WordPos(index,index+word.length()));

index+= word.length() +1;
}

使用上述方法，我想没有 2 个连续的分隔符。如果发生这种情况，方法是完全一样的。