【发布时间】:2016-12-22 20:21:48
【问题描述】:
我需要读取一个巨大平面文件,不将整个文件保存在内存中。 它是具有多个段的平面文件,每条记录都以一个以“H”标识的 Header 记录开头,然后是多行,然后是 Header 记录,这种模式重复 例如
HXYZ CORP 12/12/2016
R1 234 qweewwqewewq wqewe
R1 234 qweewwqewewq wqewe
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd df g
HABC LTD 12/12/2016
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd df g
HDRE CORP 12/12/2016
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd df g
R2 344 dfgdfgdf gfd df g
我想一次读取一个记录集,例如
HDRE CORP 12/12/2016
R1 234 qweewwqewewq wqewe
R2 344 dfgdfgdf gfd df g
R2 344 dfgdfgdf gfd df g
我怎样才能做到这一点请记住,我不想将整个文件保存在内存中 我可以为此目的使用任何标准库吗? 我尝试使用一些实现但没有取得多大成功,我使用了 Apache 的 Line Iterator ,但它是逐行读取的。
任何帮助或建议将不胜感激。
【问题讨论】:
-
逐行阅读有什么问题?
-
无论如何,i/o 将被缓冲在更大的块中(您通常可以指定)。 “逐行”部分只是一个界面,无论如何可能对您的文件最方便。
-
我可能是错误的,因为我是这个领域的新手。我的假设是我不能逐行阅读,因为在标题行和标题行之间可以有 3 种记录 R1、R2、R3 都是可选的、可重复的并且具有不同的宽度。我的用例需要一次读取整个记录集。
-
@RahulKumar 但是你不知道记录已经结束,直到你阅读 next 行并获得另一个标题行。
-
您可以使用带有正则表达式的
Scanner记录开始一次读取 1 条记录。
标签: java file etl fixed-width