【发布时间】:2012-03-21 01:05:45
【问题描述】:
当子匹配的索引被指定为 -1 时,sregex_token_iterator 几乎可以完美地用作标记器。但不幸的是,它不适用于以分隔符开头的字符串,例如:
#include <string>
#include <regex>
#include <iostream>
using namespace std;
int main()
{
string s("--aa---b-c--d--");
regex r("-+");
for (sregex_token_iterator it = sregex_token_iterator(s.begin(), s.end(), r, -1); it != sregex_token_iterator(); ++it)
{
cout << (string) *it << endl;
}
return 0;
}
打印出来:
aabcd
(注意前面的空行)。
所以请注意,它实际上可以很好地处理尾随分隔符(因为它不会打印额外的空行)。
阅读标准似乎有一个条款专门处理尾随分隔符以使其正常工作,即:
[re.tokiter] no 4.
如果到达序列的结尾(位置等于序列迭代器的结尾),则迭代器变得等于序列结尾迭代器的值,除非被枚举的子表达式的索引为 -1,其中case 迭代器枚举最后一个子表达式,该子表达式包含从最后一个正则表达式匹配的结尾到被枚举的输入序列结尾的所有字符,前提是这个 不会是空子表达式。
有谁知道指定这种看似不对称的行为的原因是什么?
最后,是否有一个优雅的解决方案来完成这项工作? (这样我们根本就没有空条目)。
【问题讨论】:
-
我有点好奇为什么你会希望分词器丢弃分隔符——用定界符开始输入可能是你的语言错误,如果分词器把它扔掉,您无法确定您的代码应该无法解析输入。你能在你的语法水平上处理这个吗?
-
不,我现在并没有真正处理具体的问题,只是想知道这是否可行。
-
更优雅的解决方案:使用真正的分词器,例如Boost.Tokenizer。 :P
标签: c++ regex string c++11 tokenize