使用 java 应用提取信息

Question

我试图在文本（文本文件）上应用字典（单词文件）：

我们测试该单词是否存在于文本的一行中，如果是，我们将打印它（该行）。我们为每一行文本测试字典中的所有单词。

我使用了 EXPREG 模式+匹配器，但问题是时间。手术耗时5H。

2 档有 3330ko 和 55ko . 我的问题是是否有另一种方法可以像 UNITEX 但在 java 中执行此操作

public class Tratemant_Dic extends Thread {

    Tratemant_Dic() {

    }

    public void run() {
        try {

            BufferedReader file_corpus = new BufferedReader(
                    new InputStreamReader(new FileInputStream(
                            "corpus-medical.TXT"), "UTF-16LE"));

            PrintWriter ecrire = new PrintWriter("sort.html");
            String line;
            String nom = null;

            ecrire.write("<mot><span style=\"color:red\">startsss</span></mot></br><ligne>start\n");
            while ((line = file_corpus.readLine()) != null) {

                BufferedReader file_nom = new BufferedReader(
                        new InputStreamReader(new FileInputStream(
                                "Fichie_sorte.DIC"), "UTF-16LE"));
                while ((nom = file_nom.readLine()) != null) {
                    nom = nom.substring(0, nom.length() - 3);
                    Pattern p = Pattern.compile("(.*)\\W+" + nom + "\\b.*",
                            Pattern.CASE_INSENSITIVE);
                    Matcher m = p.matcher(line);

                    if (m.find()) {

                        System.out.println(nom + "==>" + line);
                        ecrire.write("<mot><span style=\"color:red\">" + nom
                                + "</span></mot></br><ligne>" + line + "\n");

                    }

                }

                file_nom.close();

            }
            ecrire.close();
            System.out.println("FIN");
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

    }

}

Answer 1

如果我理解您要正确执行的操作，我将不会使用正则表达式来执行此操作。它们很慢，您不需要它们。

这确实是一个字符串匹配问题。您的字典可能应该存储在哈希表中，使用 hashCode() 方法获取字符串的键。然后，您在字典中搜索文本中的每个单词（在阅读时计算适当的哈希码）。正确完成应该尽可能快。

请记住，散列码不保证是唯一的，因此即使在表中找到散列码，也要始终确保实际字符串匹配。

Answer 2

我会首先尝试对您的应用程序执行的每项“事情”进行计时，而不是针对最慢的项目（正如 Jay 的评论中所提到的那样，您遇到的一个问题是您每次都在加载字典时间）而不是基于对错误的猜测（正则表达式很慢）来改进。

您可以使用System.nanoTime() 或众多秒表之一来执行此操作。我通常使用guava。

Answer 3

为什么你不使用而不是

 Pattern p = Pattern.compile("(.*)\\W+" + nom + "\\b.*",
                Pattern.CASE_INSENSITIVE);
        Matcher m = p.matcher(line);

        if (m.find()) {
         ...

只是

if(line.indexOf(nom) > -1) {
     ...

?

更新：如果你需要单词边界的东西使用：

String lineToLowerCase = line.toLowerCase();  // before second while
...
    int index = lineToLowerCase.indexOf(nom.toLowerCase());
    if(index > -1) {
        if(index ==0 || Character.isWhitespace(lineToLowerCase.charAt(index-1))) {
            int indexEnd = index + nom.length();
            if (indexEnd >= lineToLowerCase.length() || !Character.isAlphabetic(lineToLowerCase.charAt(indexEnd))) {
       ... 

用于测试

public static void main(String[] s) {
    check("skdc s dcd dsf", "dcd"); // print true
    check("skdc sdcd dsf", "dcd"); // print false
    check("dcd dsf", "dcd"); // print true
    check("afasa dcd", "dcd"); // print true
    check("afasa dCD11", "dcD"); // print true
    check("skdc s dcda dsf", "dcd"); // print false
}

public static void check(String line, String nom) {
    String lineToLowerCase = line.toLowerCase();
    int index = lineToLowerCase.indexOf(nom.toLowerCase());
    if(index > -1) {
        if(index ==0 || Character.isWhitespace(lineToLowerCase.charAt(index-1))) {
            int indexEnd = index + nom.length();
            if (indexEnd >= lineToLowerCase.length() || !Character.isAlphabetic(lineToLowerCase.charAt(indexEnd))) {
                System.out.println("true");
                return;
            }
        }
    }
    System.out.println("false");
}