【问题标题】:Reading a Huge Fixed Width file读取一个巨大的固定宽度文件
【发布时间】:2016-12-22 20:21:48
【问题描述】:

我需要读取一个巨大平面文件,不将整个文件保存在内存中。 它是具有多个段的平面文件,每条记录都以一个以“H”标识的 Header 记录开头,然后是多行,然后是 Header 记录,这种模式重复 例如

HXYZ CORP  12/12/2016
R1 234 qweewwqewewq wqewe
R1 234 qweewwqewewq wqewe
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd  df g
HABC LTD  12/12/2016
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd  df g
HDRE CORP  12/12/2016
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd  df g
R2 344 dfgdfgdf gfd  df g 

我想一次读取一个记录集,例如

HDRE CORP  12/12/2016
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd  df g
R2 344 dfgdfgdf gfd  df g 

我怎样才能做到这一点请记住,我不想将整个文件保存在内存中 我可以为此目的使用任何标准库吗? 我尝试使用一些实现但没有取得多大成功,我使用了 Apache 的 Line Iterator ,但它是逐行读取的。

任何帮助或建议将不胜感激。

【问题讨论】:

  • 逐行阅读有什么问题?
  • 无论如何,i/o 将被缓冲在更大的块中(您通常可以指定)。 “逐行”部分只是一个界面,无论如何可能对您的文件最方便。
  • 我可能是错误的,因为我是这个领域的新手。我的假设是我不能逐行阅读,因为在标题行和标题行之间可以有 3 种记录 R1、R2、R3 都是可选的、可重复的并且具有不同的宽度。我的用例需要一次读取整个记录集。
  • @RahulKumar 但是你不知道记录已经结束,直到你阅读 next 行并获得另一个标题行。
  • 您可以使用带有正则表达式的Scanner 记录开始一次读取 1 条记录。

标签: java file etl fixed-width


【解决方案1】:

在 Java 8 中使用 nio Files.lines() 方法,Stream.map() 和 PrintWriter。

我更新了代码,以便能够逐行写入新文件,将当前日期添加到标题中。

import java.util.stream.Stream;
import java.io.PrintWriter;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.IOException;

import java.time.LocalDate;
import java.time.format.DateTimeFormatter;    

public class Main {

    public static void main(String[] args) {

        String input =  "C://data.txt";
        String output = "C://data1.txt";
        String date = getDate();

        addDate(input,output,date);

    }

    public static void addDate(String in, String out,String date)
    {

        try (Stream<String> stream = Files.lines(Paths.get(in));
             PrintWriter output = new PrintWriter(out, "UTF-8"))
        {    
         stream.map(x -> {
            if(x.startsWith("H")) return (x +" "+date); 
            else return x;
            }
         ).forEach(output::println);
        }
        catch(IOException e){e.printStackTrace();}
    }

    public static String getDate(){
        DateTimeFormatter dtf = DateTimeFormatter.ofPattern("dd/MM/yyyy");
        LocalDate localDate = LocalDate.now();
        return dtf.format(localDate);
    }
}

【讨论】:

  • 谢谢,这有帮助!
【解决方案2】:

数据是按行存储的,直到读取下一条记录的标题行才知道记录已经结束。您需要逐行阅读。像这样的东西应该可以工作:

BufferedReader br = new BufferedReader( new FileReader( file ) );
Vector<String> record = new Vector<>();
String line;

// loop is explicitly broken when file ends
for ( ;; )
{
    line = br.readline();

    // no more lines - process what's in record and break the loop
    if ( null == line )
    {
        ProcessRecord( record );
        break;
    }

    // new header line, process what's in record and clear it
    // for the new record
    if ( line.startsWith( "H" ) )
    {
        ProcessRecord( record );
        record.clear()
    }

    // add the current line to the current record
    record.add( line );
}

【讨论】:

    【解决方案3】:

    您应该致力于通过逐行阅读来实现您的目标(例如您使用的 Apache 或 Java8 Files.lines())。

    使用两个循环:外部循环,直到到达 EOF。一次读取记录集的内部循环。一旦你处理了整个记录 - 你可以将你读过的行丢弃到垃圾收集器。然后(外循环)处理下一条记录。

    如果使用 Lambda 和 Java 8 Files.lines(...) - 您可能希望对与同一记录相关的行进行分组(收集)。然后处理这些分组的对象。

    【讨论】:

      【解决方案4】:

      我会使用内置的 BufferedReader 并逐行阅读。

      我不知道您所说的固定宽度文件是什么意思,因为您在评论中提到了这一点

      R1、R2、R3 都是可选的、可重复的并且具有不同的宽度。

      无论如何,根据您的描述,您的格式结构是这样的

      1. Read the first character to get the TOKEN
      2. Check if TOKEN equals "H" or "R"
      3. Split the line and parse it based on what type of TOKEN it is.
      

      如果 R1、R2 和 R3 是单独的标记,那么您需要检查它是否是 R 条目,然后根据需要检查下一个字符。

      对于第 3 步,如果行中的每个字段都由空格分隔,您可以考虑在空格上进行拆分。或者,如果每条记录都有固定宽度,则可以使用substring 来提取每个段。

      我不确定你的意思

      我的用例需要一次读取整个记录集。

      【讨论】:

        【解决方案5】:

        根据@firephil 的建议,我已使用 Java 8 Stream API 来满足此要求。我使用了StringBuilder 形式的缓冲区来存储标题和另一个标题记录之间的行。最后从 Stream 中获取一个迭代器,以一次从文件中获取一条完整记录(H+R1+R2+R3)。获取最后一条记录时出现问题,我处理最后一条记录的方式正在丢失,因此我不得不将 Fake Record 连接到原始 Stream。 这次可以这样做,但我相信会有更好的处理方式。

        public static StringBuilder sbTemp;
        
        public static Iterator<String> process(String in) throws IOException
        {
            Iterator<String> recordIterator = null;
            sbTemp = new StringBuilder();
            List<String> fakeRecordList = new ArrayList<String>();
            fakeRecordList.add("H Fake Line");
            Stream<String> fakeRecordStream = fakeRecordList.stream(); //For getting last Record Set
            Stream<String> stream = Files.lines(Paths.get(in)).sequential();
                Stream<String> finalStream = Stream.concat(stream,fakeRecordStream);
                // PrintWriter output = new PrintWriter(out, "UTF-8"))
            {    
                recordIterator =    finalStream.map(x -> {
                if(x.startsWith("H")) {
                    String s = sbTemp.toString();
                    //System.out.println("Header: "+x);
                    sbTemp = new StringBuilder();
                    sbTemp.append(x);
                    return s; 
                    }
                else {
                    sbTemp.append("\n").append(x);              
                    return "";
                } 
             }
             ).filter(line -> (line.startsWith("H")) ).iterator();
        
                System.out.println(recordIterator.next()); 
            }
            return recordIterator;
        }
        

        【讨论】:

          【解决方案6】:

          为此目的的库是BeanIO

          有很多不支持的固定文件格式库。

          Flatpack 是较新的,但我没有尝试。

          【讨论】:

          • 在尝试第 3 方库之前,请先调查一下该平台提供的开箱即用功能
          猜你喜欢
          • 2013-01-01
          • 2013-09-14
          • 1970-01-01
          • 2016-01-18
          • 1970-01-01
          • 1970-01-01
          • 2021-05-29
          相关资源
          最近更新 更多