在随机字符文本文件中搜索单词

Question

这是我在这里的第一个问题，所以请善待:)

我有一个 60MB 的随机字符文本文件，没有空格、制表符、换行符或任何可确定的模式。我想我需要这个文本文件中的一个词，虽然我不知道如何搜索它。我在想你可以使用字典并扫描文件，尽管这可能需要一段时间，而且我不知道如何真正做到这一点，因为没有空格或任何东西可以将单词与字符分开。

感谢任何帮助或想法。

我还发现了 this 线程可能会有所帮助，但我真的不确定，因为我不清楚答案，我认为我们的问题略有不同。

任何基本代码/伪代码也有帮助，不用担心语言:)

Answer 1

您是否考虑过使用trie 数据结构？构建字典值的 trie，然后开始逐个字符地扫描文本文件。您需要维护一组候选词片段以及它们在 trie 中将您引导到的节点（到目前为止）。对于读取的每个字符，遍历候选列表，如果新字符导致 trie 中的有效节点，则候选保留在列表中并且节点信息得到更新。否则将其从列表中删除。如果它是一个单词节点，则将该单词添加到您找到的单词的解决方案集中。如果它是叶节点，则将其从候选集中删除，否则保留它，因为某些词是其他词的子串——例如，“under”本身就是一个词，但在 trie 中也可能导致您进入“underwater”，“地下”或“失败者”等等。