【发布时间】:2017-09-25 13:00:34
【问题描述】:
我正在尝试制作一个简单的 CSV 文件解析器,以将大量订单从订单系统传输到发票系统。问题是我正在下载的 CSV 有错误的逗号,有时会出现在名称字段中,因此这会导致整个过程中断。
公司 INSISTS 真的开始让我生气了,他们只是将收到的数据复制到 CSV 中,因此它是有效数据。
Excel 似乎可以正确解释这一点,或者至少将数据放在正确的字段中,但我的程序却没有。我在记事本++中打开了CSV,字符串周围没有引号,只是用逗号分隔的原始字符串。
这是我目前读取文件的方式。
int main()
{
string t;
getline(cin, t);
string Output;
string path = "in.csv";
ifstream input(path);
vstring readout;
vstring contact, InvoiceNumber, InvoiceDate, DueDate, Description, Quantity, UnitAmount, AccountCode, TaxType, Currency, Allocator, test, Backup, AllocatorBackup;
vector<int> read, add, total;
if (input.is_open()) {
for (string line; getline(input, line); ) {
auto arr = explode(line, ',');
contact.push_back(arr[7]); // Source site is the customer in this instance.
InvoiceNumber.push_back(arr[0]); // OrderID will be invoice number
InvoiceDate.push_back(arr[1]); // Perchase date
DueDate.push_back(arr[1]); // Same as order date
Description.push_back(arr[0]);
Quantity.push_back(arr[0]);
UnitAmount.push_back(arr[10]); // The Total
AccountCode.push_back(arr[7]); // Will be set depending on other factors - But contains the site of perchase
Currency.push_back(arr[11]); // EUR/GBP
Allocator.push_back(arr[6]); // This will decide the VAT treatment normally.
AllocatorBackup.push_back(arr[5]); // This will decide VAT treatment if the column is off by one.
Backup.push_back(arr[12]);
TaxType = Currency;
}
}
return 0;
}
vstring explode(string const & s, char delim) {
vstring result;
istringstream q(s);
for (string token; getline(q, token, delim); ) {
result.push_back(move(token));
}
return result;
}
Vstring 是我创建的一个编译器宏,用于节省我经常输入向量的时间,所以它是一样的。
问题是当我遇到其中一个带有逗号的字段(通常是名称字段 [3])时,它会将所有内容推回一,因此帐户代码变为 [8] 等等。这是非常麻烦,因为很难判断天气是否我正在处理下一个字段中的正确数据或在某些情况下不处理。
那么两个问题:
1) 有什么简单的方法可以让我检测到这个异常并纠正我错过的问题吗?如果有效数据在预期的位置,我当然会尝试检查我的循环,但这变得混乱并且不能处理多个逗号。
2) 公司是否正确告诉我允许客户输入的逗号未经处理就进入此 CSV 是“预期行为”,还是他们完全误解了 CSV“标准”?
【问题讨论】:
-
在有效的 CSV 中,当字段包含分隔符时,它应该被引用。你的数据也是这样吗?
-
你似乎知道一行会有多少个字段,所以如果一个字段是唯一的问题,那么解析它之前的字段,然后向后解析它之后的字段,剩下的是您遗漏的字段。
-
@boxmein 不,遗憾的是没有这么简单的事情,逗号只是坐在数据中间,没有清晰的视觉方式来判断它是一个新字段还是只是数据。文件中根本没有引号。
-
1 - 没有简单的方法,除非您知道哪些字段可能被损坏以及具体以何种方式损坏 2 - 公司错了。如果分隔符作为字段的一部分出现,则整个字段必须用引号括起来
-
@user3407675 - 你知道他们使用什么工具来生成 CSV 吗?因为显然他们的工具并没有按照他们应该的方式引用东西,这是你问题的根源。如果您了解他们的工具链是什么,或许您可以帮助他们更好地利用它。