从 CSV 搜索和存储值

Question

我是一名 java 初学者，想学习如何以易于操作的方式读取文件和存储数据。

我有一个非常大的 csv 文件（18000 行）。数据代表利口酒店销售的所有不同饮料的分类。它由 16 列组成，标题为“文章编号、名称、生产商、酒精量等。这些列由“\t”分隔。

我现在想在此文件中进行一些搜索，以查找瑞典生产的产品数量以及查找最昂贵的利口酒/升等信息。

因为我真的想学习如何编程，而不仅仅是找到答案，所以我不在这里寻找任何确切的代码。相反，我正在寻找这背后的伪代码以及在处理大量数据时的一种良好思维方式以及最适合某项任务的数据结构。

让我们以“有多少产品来自瑞典”为例。 由于数据由字符串、整数和浮点数组成，我无法将所有内容都放在一个列表中。存储它以便以后可以操纵它的最佳方法是什么？或者我可以在解析后立即找到它，也许我根本不需要存储它？

Answer 1

如果你有 csv 文件，那么你可以使用数据库来存储这些数据。 你通过使用这个link.来阅读java中的csv

利用 ORM 框架，如 Hibernate 与 Spring 应用程序一起使用。使用此link 创建应用程序

通过使用它，您可以创建查询来获取诸如“瑞典有多少产品”之类的数据，并利用 Collection 框架。这个link 在同一应用程序中使用 HQL 查询。

创建 JSP 页面以在 UI 上显示结果。

对不起我的英语。

Answer 2

您似乎正在为您的 CSV 文件寻找内存中的 SQL 引擎。我建议使用CQEngine，它在Java 集合框架之上提供索引视图以及类似SQL 的查询。

您基本上将 Java 集合视为数据库表。假设每个 CSV 行都映射到某个 POJO 类，例如 Beverage：

IndexedCollection<Beverage> table = new ConcurrentIndexedCollection<Beverage>();
table.addIndex(NavigableIndex.onAttribute(Beverage.BEVERAGE_ID));
table.add(new Beverage(...));
table.add(new Beverage(...));
table.add(new Beverage(...));

您现在需要做的是读取 CSV 文件并将其加载到 IndexedCollection 中，然后在某些字段上建立适当的索引。之后，您可以像通常的 SQL 数据库一样查询该表。最后，将集合反序列化为新的 CSV 文件（如果您进行了任何修改）。

Answer 3

如果您是 Java 和一般编程的新手，我建议您使用一个库来帮助您查看和使用数据，而无需进入数据库和学习 SQL。我过去使用过的一个是 Commons CSV。

https://commons.apache.org/proper/commons-csv/user-guide.html#Parsing_files

它可以让您轻松地将整个 CSV 文件解析为 CSVRecord 对象。例如：

Reader in = new FileReader("path/to/file.csv");
Iterable<CSVRecord> records = CSVFormat.EXCEL.parse(in);
for (CSVRecord record : records) {
String lastName = record.get("Last Name");
String firstName = record.get("First Name");
}