替换文件中的多个字符串值

Question

我正在尝试清理我每季度收到的一些文件。他们有一堆重复的标题，我想一次替换多个字符串值。我可以一次删除一个字符串，但我不明白如何流式传输文件并查看每一行并删除它是字符串 1 还是字符串 2。

每个文件至少有 100-30 万行，每次大约每季度一次将数据转储给我时，我会得到 10 到 50 个文件...如果他们不添加这些行会更容易，但是不是一个选项。

对于新手问题，我很抱歉，但我不经常编写代码。任何帮助表示赞赏...

static void Main(string[] args)
{
    string tempFile = Path.GetTempFileName();
    string t1 = "-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------";

    string fName = "C:\\PoC\\test\\test.txt";
    using (var sr = new StreamReader(fName))
    using (var sw = new StreamWriter(tempFile))
    {
        string line;

        while ((line = sr.ReadLine()) != null)
        {

            if (line.Contains(t1) == false)
            {
                sw.WriteLine(line);
            }
        }
        sr.Close();
        sw.Close();
    }

    File.Delete(fName);
    File.Move(tempFile, fName);
}

Answer 1

调用 string.Contains() 几乎与调用 string.Replace() 一样昂贵，因为在任何一种情况下，都必须扫描整行以查找您的子字符串。在 Replace() 找到匹配的情况下，它创建并返回一个表示替换结果的新字符串，否则它返回原始字符串。改变

if (line.Contains(t1) == false)
    sw.WriteLine(line);

到

sw.WriteLine(line.Replace(t1, whatYouWantToReplaceWith));

如果你在一行中替换多个值，你可以写

sw.WriteLine(
    line
    .Replace(t1, whatYouWantToReplaceWith1)
    .Replace(t2, whatYouWantToReplaceWith2)
    .Replace(t3, whatYouWantToReplaceWith3)
);

请注意，使用多个 .Replace() 将导致多次扫描该行以查找匹配项。虽然这会稍微降低性能，但您的大部分处理时间可能仍然是文件 IO。

如果您知道替换只会发生，例如在第一行中，您可以添加一个计数器来跟踪您所在的行号，并且只将 Replace() 代码应用于适当的行。

请注意，您可能通过using a BufferedStream 对大文件进行一些额外的改进。

更新

基于您只想删除该行的声明，我建议您使用@Eser 的答案。

Answer 2

我知道您正在开发 ac# 程序，如果目的只是删除与模式匹配的行，那么我会使用 Unix Stream editor sed 命令，请参阅 sed for Windows stand alone command 或 cygwin您可以简单地使用该命令删除与模式匹配的所有行以及其后的行，您可以编写一个 .bat 脚本来复制、重命名、删除匹配多个模式的行。它也非常快。

sed -i '/^---------/d' filepath

Answer 3

我想一次替换多个字符串值。

使用 Linq 可以让你的代码更简单

string[] stringsToRemove = new[] { "str1", "str2", "str2" };

var query = File.ReadLines(fName)
                .Where(line => !stringsToRemove.Any(s => line.Contains(s)));

File.WriteAllLines(tempFile, query);