从 ifstream 读取不会读取空格

Question

我在 C++ 中实现了一个自定义词法分析器，当尝试读取空白时，ifstream 不会读出它。我正在使用>> 逐个字符地阅读，所有的空格都消失了。有什么方法可以让 ifstream 保留所有的空白并把它读给我听？我知道在读取整个字符串时，读取将在空白处停止，但我希望通过逐个字符读取，我会避免这种行为。

尝试过：.get()，很多答案都推荐，但是效果和std::noskipws一样，就是我现在得到了所有的空格，但是不是换行符我需要 lex 一些结构。

这是有问题的代码（扩展 cmets 被截断）

while(input >> current) {
    always_next_struct val = always_next_struct(next);
    if (current == L' ' || current == L'\n' || current == L'\t' || current == L'\r') {
        continue;
    }
    if (current == L'/') {
        input >> current;
        if (current == L'/') {
            // explicitly empty while loop
            while(input.get(current) && current != L'\n');
            continue;
        }

我正在打破while 行并查看current 的每个值，而\r 或\n 绝对不在其中- 输入只是跳到下一行输入文件。

Answer 1

有一个操纵器可以禁用空格跳过行为：

stream >> std::noskipws;

Answer 2

运算符>> 吃掉空格（空格、制表符、换行符）。使用yourstream.get() 读取每个字符。

编辑：

注意：平台（Windows、Un*x、Mac）的换行编码不同。它可以是“\n”、“\r”或两者兼而有之。它还取决于您如何打开文件流（文本或二进制）。

编辑（分析代码）：

之后

  while(input.get(current) && current != L'\n');
  continue;

如果未到达文件末尾，current 中将有一个 \n。之后，您继续最外面的 while 循环。在那里，下一行的第一个字符被读入current。这不是你想要的吗？

我试图重现您的问题（使用char 和cin 而不是wchar_t 和wifstream）：

//: get.cpp : compile, then run: get < get.cpp

#include <iostream>

int main()
{
  char c;

  while (std::cin.get(c))
  {
    if (c == '/') 
    { 
      char last = c; 
      if (std::cin.get(c) && c == '/')
      {
        // std::cout << "Read to EOL\n";
        while(std::cin.get(c) && c != '\n'); // this comment will be skipped
        // std::cout << "go to next line\n";
        std::cin.putback(c);
        continue;
      }
     else { std::cin.putback(c); c = last; }
    }
    std::cout << c;
  }
  return 0;
}

应用到自身的这个程序消除了其输出中的所有 C++ 行 cmets。内部 while 循环不会吃掉所有文本到文件末尾。请注意putback(c) 声明。没有它，换行符就不会出现。

如果它对wifstream 不起作用，那将是非常奇怪的，除了一个原因：当打开的文本文件没有保存为 16 位字符 并且 \n 字符以错误的字节结束...

Answer 3

您可以以二进制模式打开流：

std::wifstream stream(filename, std::ios::binary);

如果您这样做，您将丢失任何提供给我的流的格式化操作。

另一种选择是将整个流读入一个字符串，然后处理该字符串：

std::wostringstream ss;
ss << filestream.rdbuf();

当然，从 ostringstream 获取字符串需要额外的字符串副本，因此如果您喜欢冒险，您可以考虑在某个时候更改它以使用自定义流。 编辑：其他人提到 istreambuf_iterator，这可能是比将整个流读入字符串更好的方法。

Answer 4

将流（或其缓冲区，具体而言）包装在std::streambuf_iterator?这应该忽略所有格式，并且还为您提供了一个不错的迭代器接口。

或者，一种更有效且更简单的方法可能只是使用 Win32 API（或 Boost）来对文件进行内存映射。然后你可以使用纯指针遍历它，并且保证运行时不会跳过或转换任何内容。

Answer 5

您可以将流包装在 std::streambuf_iterator 中，以获取包含所有空格和换行符的数据。

           /*Open the stream in default mode.*/
            std::ifstream myfile("myfile.txt");

            if(myfile.good()) {
                /*Read data using streambuffer iterators.*/
    vector<char> buf((std::istreambuf_iterator<char>(myfile)), (std::istreambuf_iterator<char>()));

                /*str_buf holds all the data including whitespaces and newline .*/
                string str_buf(buf.begin(),buf.end());

                myfile.close();
            } 

Answer 6

流提取器的行为相同并跳过空格。

如果你想读取每个字节，你可以使用未格式化的输入函数，比如stream.get(c)。

Answer 7

为什么不简单地使用getline？

你会得到所有的空格，虽然你不会得到行尾字符，但你仍然会知道它们的位置:)

Answer 8

默认情况下，这个 skipws 标志已经在 ifstream 对象上设置，所以我们必须禁用它。 ifstream 对象具有这些默认标志，因为 std::basic_ios::init 会在每个新的 ios_base 对象 (more details) 上调用。 以下任何一种都可以：

in_stream.unsetf(std::ios_base::skipws);
in_stream >> std::noskipws; // Using the extraction operator, same as below
std::noskipws(in_stream); // Explicitly calling noskipws instead of using operator>>

cpp reference 上列出了其他标志。

Answer 9

只需使用 getline。

while (getline(input,current))
{
      cout<<current<<"\n";

}

Answer 10

我最终只是打开了 Windows API 并使用它首先将整个文件读入缓冲区，然后逐个字符地读取该缓冲区。谢谢各位。