FileSystemWatcher 丢失文件

Question

我是 C# 新手，正在编写一个程序，该程序将使用从名为 folderWatch 的方法调用的 fileSystemWatcher 监视文件夹中的 .xml 文件。 .xml 文件包含一个电子邮件地址和一个图像的路径，一旦读取就会通过电子邮件发送。如果我一次只添加几个 xml，我的代码可以正常工作，但是当我尝试将大量数据转储到文件夹 fileSystemWatcher 中时并没有处理所有这些。请帮我指出正确的方向。

private System.IO.FileSystemWatcher m_Watcher;
public string folderMonitorPath = Properties.Settings.Default.monitorFolder;

    public void folderWatch()
    {
        if(folderMonitorPath != "")
        {
            m_Watcher = new System.IO.FileSystemWatcher();
            m_Watcher.Filter = "*.xml*";
            m_Watcher.Path = folderMonitorPath;
            m_Watcher.NotifyFilter = NotifyFilters.LastAccess | NotifyFilters.LastWrite
                                     | NotifyFilters.FileName | NotifyFilters.DirectoryName;
            m_Watcher.Created += new FileSystemEventHandler(OnChanged);
            m_Watcher.EnableRaisingEvents = true;
        }
    }

    public void OnChanged(object sender, FileSystemEventArgs e)
    {
        displayText("File Added " + e.FullPath);
        xmlRead(e.FullPath);
    }

读取 xml

    public void xmlRead(string path)
    {

        XDocument document = XDocument.Load(path);
        var photo_information = from r in document.Descendants("photo_information")
                                select new
                                {
                                    user_data = r.Element("user_data").Value,
                                    photos = r.Element("photos").Element("photo").Value,
                                };
        foreach (var r in photo_information)
        {
            if (r.user_data != "")
            {
                var attachmentFilename = folderMonitorPath + @"\" + r.photos;
                displayText("new user data " + r.user_data);
                displayText("attemting to send mail");
                sendemail(r.user_data, attachmentFilename);
            }
            else
            {
                displayText("no user data moving to next file");
            }
        }

发送邮件

public void sendemail(string email, string attachmentFilename)
    {
        //myTimer.Stop();

            MailMessage mail = new MailMessage();
            SmtpClient SmtpServer = new SmtpClient(smtpClient);

            mail.From = new MailAddress(mailFrom);
            mail.To.Add(email);
            mail.Subject = "test";
            mail.Body = "text";

            SmtpServer.Port = smtpPort;
        SmtpServer.Credentials = new System.Net.NetworkCredential("username", "password");
        SmtpServer.EnableSsl = true;
        // SmtpServer.UseDefaultCredentials = true;

        if (attachmentFilename != null)
            {
                Attachment attachment = new Attachment(attachmentFilename, MediaTypeNames.Application.Octet);
                ContentDisposition disposition = attachment.ContentDisposition;
                disposition.CreationDate = File.GetCreationTime(attachmentFilename);
                disposition.ModificationDate = File.GetLastWriteTime(attachmentFilename);
                disposition.ReadDate = File.GetLastAccessTime(attachmentFilename);
                disposition.FileName = Path.GetFileName(attachmentFilename);
                disposition.Size = new FileInfo(attachmentFilename).Length;
                disposition.DispositionType = DispositionTypeNames.Attachment;
                mail.Attachments.Add(attachment);
            }
        try
        {
            SmtpServer.Send(mail);
            displayText("mail sent");
        }
        catch (Exception ex)
        {
           displayText(ex.Message);

        }

    }

Answer 1

首先，FileSystemWatcher 具有内部限制 buffer 来存储待处理的通知。根据文档：

系统将文件更改通知组件，并将这些更改存储在 组件创建并传递给 API 的缓冲区中的更改。每个 event 最多可以使用 16 字节的内存，不包括文件名。 如果短时间内有很多变化，缓冲区可能会溢出。 这会导致组件无法跟踪目录中的更改

您可以通过将InternalBufferSize 设置为64 * 1024（64KB，最大允许值）来增加该缓冲区。

接下来（也许更重要）是如何清除这个缓冲区。您的 OnChanged 处理程序被调用，并且仅在它完成时才从该缓冲区中删除通知。这意味着如果您在处理程序中做了很多工作 - 缓冲区溢出的可能性要高得多。为了避免这种情况 - 在 OnChanged 处理程序中尽可能少做工作，并在单独的线程中完成所有繁重的工作，例如（不是生产就绪代码，仅用于说明目的）：

var queue = new BlockingCollection<string>(new ConcurrentQueue<string>());
new Thread(() => {
    foreach (var item in queue.GetConsumingEnumerable()) {
        // do heavy stuff with item
    }
}) {
    IsBackground = true
}.Start();
var w = new FileSystemWatcher();
// other stuff
w.Changed += (sender, args) =>
{
    // takes no time, so overflow chance is drastically reduced
    queue.Add(args.FullPath);
};

您也没有订阅FileSystemWatcher 的Error 事件，因此您不知道何时（以及是否）出了问题。

Answer 2

FSW 的文档警告说，如果事件处理时间过长，某些事件可能会丢失。这就是为什么它总是与队列和/或后台处理一起使用。

一种选择是使用 Task.Run 在后台执行处理：

public void OnChanged(object sender, FileSystemEventArgs e)
{
    _logger.Info("File Added " + e.FullPath);
    Task.Run(()=>xmlRead(e.FullPath));
}

请注意，我使用日志记录而不是 displayText 所做的任何事情。您无法从另一个线程访问 UI 线程。如果要记录进度，请使用日志库。

您还可以使用IProgress< T> 界面报告长时间运行的作业的进度，或者您想通过它发布的任何其他内容。 Progress< T> 实现负责将进度对象编组到它的父线程，通常是 UI 线程。

一个更更好的解决方案是使用ActionBlock< T>。 ActionBlock 有一个输入缓冲区，可以对传入的消息进行排队，还有一个 DOP 设置，允许您指定可以同时执行多少个操作。默认值为 1：

ActionBlock<string> _mailerBlock;

public void Init()
{
    var options=new ExecutionDataflowBlockOptions { 
        MaxDegreeOfParallelism = 5
     };
    _mailerBlock = new ActionBlock<string>(path=>xlmRead(path),options);
}

public void OnChanged(object sender, FileSystemEventArgs e)
{
    _logger.Info("File Added " + e.FullPath);
    _mailerBlock.Post(e.FullPath);
} 

更好的是，您可以创建不同的块用于阅读和发送电子邮件，并将它们连接到管道中。在这种情况下，文件阅读器会生成大量电子邮件，这意味着需要TransformManyBlock：

class EmailInfo 
{ 
    public string Data{get;set;}
    public string Attachement{get;set;}
}


var readerBlock = new TransformManyBlock<string,EmailInfo>(path=>infosFromXml(path));

var mailBlock = new ActionBlock<EmailInfo>(info=>sendMailFromInfo(info));

readerBlock.LinkTo(mailBlock,new DataflowLinkOptions{PropagateCompletion=true});

xmlRead 方法应该改成迭代器

public IEnumerable<EmailInfo> infosFromXml(string path)
{
    // Same as before ...
    foreach (var r in photo_information)
    {
        if (r.user_data != "")
        {
            ...
            yield return new EmailInfo{
                      Data=r.user_data, 
                      Attachment=attachmentFilename};
        }
       ...
    }
}

和sendmail 到：

public void sendMailFromInfo(EmailInfo info)
{
    string email=info.Data;
    string attachmentFilename=info.Attachment;
}

当您想终止管道时，您可以在 head 块上调用 Complete() 并等待 tail 完成。这样可以确保处理所有剩余的文件：

readerBlock.Complete();
await mailerBlock.Completion;

Answer 3

我学到了如果必须使用可靠的文件监视器，请使用USN Journals。

https://msdn.microsoft.com/en-us/library/windows/desktop/aa363798(v=vs.85).aspx

如果您有足够的权限，可以通过以下方式访问 .NET：https://stackoverflow.com/a/31931109/612717

您也可以使用 flie Length + LastModifiedDate 通过计时器轮询手动实现它。