【发布时间】：2016-05-23 22:10:46
【问题描述】：
我正在处理已转换为文本的 PDF。问题？有时，由于不稳定的 PDF 格式和/或 PDF 到文本的转换，句子会被拆分。
所以我正在寻找可以帮助“重组”被拆分的句子的工具。页眉或页脚通常是罪魁祸首。其他元素，例如数字和图表，也可以发挥作用，但它们不是我现在最关心的问题。
这个问题可以通过几种方式解决：
在进行 NLP 句子检测之前删除页眉和页脚肯定会有所帮助。我不知道执行此操作的工具。你知道工具或方法吗？ （删除页码的总体思路在理论上是“简单的”：找到大约每页出现一次的连续递增的数字。）
使用可以判断句子语法正确可能性的 NLP 解析器会有所帮助。这样我就可以比较两个句子的语法正确性和它们合并的正确性。 （据我了解，Stanford Parser 不评估语法正确性。）您知道可以提供帮助的工具吗？
如果您有解决问题的建议、答案或其他方法，请告诉我。
【问题讨论】：
-
如果没有一些示例输入，很难提供很多建议。被打断的句子是什么样的？如果它被页眉或页脚破坏，是否有很多空格？为什么没有页眉或页脚的句子会被拆分？
-
@polm23 这里有一些 Ruby 给你： s = "从任意句子开始。在中间的某处插入一些换行符和页码。"; s.insert(29, "\n\n3\n\n");
-
谢谢。如果这是典型的，您可以找到不以标点符号结尾的行，然后删除所有后续行，直到遇到带有字母的行。类似
s/\([!?.]\)\n[^A-z]*/\1 /g。 -
Welcome to Stackoverflow.sx! 通常，我们不会在帖子中打招呼或“谢谢”。虽然一开始这可能看起来很奇怪，但这并不是缺乏礼貌的表现，而是我们努力保持一切简洁的一部分。 Upvoting 是这里向帮助过您的用户说“谢谢”的首选方式。