Python中的C文件拆分？

Question

我正在写关于 C 文件的论文。我需要拆分一个 C 标头来操纵然后组成它的单打词。我必须按所有这些字符分割行：

1. 空格和制表符
2. 新行; 或\n
3. 单行 cmets 和多行 cmets // /* */
4. 指针*
5. 数组括号[] 或[dimension]

所以，例如，如果我有这几行：

/* This is a
   multiline comment.
*/

typedef int rocket;

// This is a single line comment.
typedef double* pi[10];

split 函数应该返回一个列表（或其他所有内容），如下所示：

["/*","This","is","a","\n","multiline","comment.","\n","*/","\n","\n","typedef","int","rocket",";","\n","\n","//","This","is","a","single","line","comment.","\n","typedef","double","*","pi","[10]",";"]

这应该在 Python 中完成！

我试过这个，但我对正则表达式的了解很少，这表明我找到了一个可怕的解决方案！ :)

谢谢， 达里奥。

Answer 1

也许你应该考虑玩弄pycparser。 （在不知道你实际在做什么的情况下，我真的不能说更多，抱歉）

Answer 2

您拥有为您想要的工作完成的语法解析器。您可以在此处找到它们的列表： http://wiki.python.org/moin/LanguageParsing 它会让你的生活更轻松。

Answer 3

你可以使用re.split得到你想要的：

c_code = """
/* This is a
   multiline comment.
*/

typedef int rocket;

// This is a single line comment.
typedef double* pi[10];
"""

import re

def split_c(c_code):
    tok_re = r"(\n)|\s|(;|/\*|//|\*/|\*|\[\d*\])"
    return [t for t in re.split(tok_re, c_code) if t]

print split_c(c_code)

这会产生：

['\n', '/*', 'This', 'is', 'a', '\n', 'multiline', 'comment.', '\n', '*/', 
'\n', '\n', 'typedef', 'int', 'rocket', ';', '\n', '\n', 
'//', 'This', 'is', 'a', 'single', 'line', 'comment.', '\n', 
'typedef', 'double', '*', 'pi', '[10]', ';', '\n']

请注意，随着您的需求变得越来越复杂（例如，我担心 [10] 示例确实需要变得更加复杂），这种技术可能需要完全替换。