保存和获取在核心数据中消耗高内存 800MB 和 100% CPU / 如何在 swift4 中批量插入和获取核心数据答案

【问题标题】：Saving and fetching consumes high Memory 800MB and 100% CPU in Core Data / How to do batch insert and fetching in core data in swift4保存和获取在核心数据中消耗高内存 800MB 和 100% CPU / 如何在 swift4 中批量插入和获取核心数据
【发布时间】：2018-08-22 21:43:00
【问题描述】：

我使用核心数据存储了 10000-20000 条记录。如果我尝试保存和获取 10000 条记录，内存和 cpu 消耗会很大，因为该应用程序在 iphone 6 plus 和更早的设备中崩溃。

保存方法如下：----

   //InboxCoredata Saving Method i..(calling saving method ii)
func InboxSaveInCoreDataWith(array: [[String: AnyObject]])
{
    _ = array.map{self.InboxCreateCollectionEntityFrom(dictionary: $0)}
    do
    {
        try CoreDataStack.sharedInstance.persistentContainer.viewContext.save()
        print("Inbox Data saved Sucessfully in Coredata ")
    }
    catch let error
    {
        print(error)
    }
}

// Inbox Coredata saving method ii
func InboxCreateCollectionEntityFrom(dictionary: [String: AnyObject]) -> NSManagedObject?
{
    let context = CoreDataStack.sharedInstance.persistentContainer.viewContext
    if let inboxEntity = NSEntityDescription.insertNewObject(forEntityName: "InboxData", into: context) as? InboxData {
        inboxEntity.fileType = dictionary["FileType"] as? String
        inboxEntity.sender = dictionary["Sender"] as? String
        inboxEntity.mailPath = dictionary["MailPath"] as? String
        inboxEntity.fullMail = dictionary["FullMail"] as? NSObject
        inboxEntity.attachmentName = dictionary["AttachmentName"] as? String
        inboxEntity.size = dictionary["Size"]  as! Int32
        inboxEntity.date = dictionary["Date"] as? NSDate
        inboxEntity.dateForSearch = dictionary["DateForSearch"] as? String
        inboxEntity.inboxMail = dictionary["InboxMail"] as? String
        return inboxEntity
    }
    return nil
}

这里是获取方法：----

 strongSelf.inboxDataFromCoreData(fetchLimit: 0) // Methods calling in viewdidload

//MARK: - Fetching inboxData from Coredata
func inboxDataFromCoreData(fetchLimit :Int)
{
    var inboxCoredataFetch = [[String : AnyObject]]()
    let context = CoreDataStack.sharedInstance.persistentContainer.viewContext
    let fetchRequest = NSFetchRequest<NSFetchRequestResult>(entityName:  String(describing: InboxData.self))

    do {
        fetchRequest.sortDescriptors = [NSSortDescriptor(key: "date", ascending: false)]
        fetchRequest.fetchLimit = fetchLimit
        let results = try context.fetch(fetchRequest) as! [InboxData]
        print("inbox_coredata:\(results .count)")
        for data in results
        {
            let sender = data.sender
            let mailPath = data.mailPath
            let fileType = data.fileType
            let fullMail = data.fullMail
            let attachmentName = data.attachmentName
            let size = data.size
            let date = data.date
            let dateForsearch = data.dateForSearch
            let inboxMail = data.inboxMail

            inboxCoredataFetch.append(["Sender" : sender as AnyObject,"MailPath": mailPath! as AnyObject, "FileType":fileType as AnyObject, "FullMail":fullMail as AnyObject, "AttachmentName": attachmentName as AnyObject, "Size":size as AnyObject,"Date": date as AnyObject,"DateForSearch" :dateForsearch as AnyObject,"InboxMail":inboxMail as AnyObject])
        }



    }
    catch let err as NSError {
        print(err.debugDescription)
    }

    var sortingdata = inboxCoredataFetch as Array
    let mailBoxSortDescriptor = NSSortDescriptor(key: "Date", ascending:false, selector: nil)
    let dateDescriptor = NSSortDescriptor(key: "AttachmentName", ascending: true, selector: #selector(NSString.caseInsensitiveCompare))
    sortingdata = ((sortingdata as NSArray).sortedArray(using: [ mailBoxSortDescriptor,dateDescriptor]) )  as! [[String : AnyObject]]
    inboxTotalMailData = sortingdata

    if appDataLoadingFirst == true
    {
    appDataLoadingFirst = false
    displayTotalData = sortingdata
    DispatchQueue.main.async {
        self.hideActivityIndicator()
        self.collectionView.reloadData()
    }
    }

}

核心数据结构是这样的:::---

我对这些有太多困惑的问题。

核心数据不适合存储20000条记录？？
是否需要刷新Object(object,mergeChnage:bool) 以获得大量数据每次我都要像这样刷新对象。
Instruments 指示在 let results = 获取结果时存在内存泄漏试试 context.fetch(fetchrequest.....line 为什么？？
我是否需要批量保存和获取数据会增加应用程序性能和内存减少？？
为什么 CPU 有时显示 100% ??
如果我在集合视图中显示 10000 条记录（从数组加载数据）导致任何问题？如果是的话是什么样的问题？
需要您的宝贵建议和帮助让我变得完美？？？？

【问题讨论】：

你在一个主题下问了太多问题。
@ElTomato 我很抱歉...我别无选择...我所有的问题和相关信息都保留在这里作为最后的希望...需要帮助...我的应用程序终于完成了开发，这种问题来了，我不知道如何解决这个问题。
您同时处理大量记录，预计这将需要大量资源。尝试分批处理它们，或者在后台线程上处理。
请参考此链接：stackoverflow.com/questions/4145888/ios-coredata-batch-insert。希望对你有帮助
你一直在问同样的问题，例如here 和here。请不要那样做。如果您需要添加更多信息，您可以编辑现有问题，而不是针对同一事物发布另一个问题。

标签： ios swift xcode core-data memory-leaks

【解决方案1】：

您正在使用大量内存和 CPU 时间，因为：

当您创建新的InboxData 条目时，请在保存更改之前为数组中的每个条目 创建一个。您的代码意味着所有这些都必须同时在内存中。如果您有数千个条目，那么这将占用大量内存。
当您获取条目时，您每次都获取每一个条目。同样，您的代码意味着您必须同时将它们全部保存在内存中。再一次，大量的条目意味着大量的内存。使用 Core Data 的主要原因之一是几乎总是可以将数据的子集加载到内存中，而不是全部加载。您正在加载所有内容。
您将一堆属性从托管对象复制到字典中 - 所以现在您在内存中有两个数据副本，而不是一个。
获取数据的代码对内存中的数据进行排序以创建sortingdata。您已经将大量对象加载到内存中；现在你正在做大量的工作来对它们进行分类。这至少是您将 CPU 固定为 100% 的部分原因。
对数据进行排序后，您将结果分配给inboxTotalMailData和分配给displayTotalData，它们是在此函数之外的某个地方定义的。这意味着即使在此函数完成后，sortingdata 中的所有数据仍保留在内存中。

一些有用的东西：

保存数据时，请定期保存——每 50 个条目，或每 100 个，或任何能产生良好结果的数字。不要尝试创建数千个对象并将它们全部保存在内存中。
让获取请求对数据进行排序，而不是获取然后排序。 Fetch 请求可以有排序描述符，排序由 SQLite 完成。这将在 CPU 时间和内存使用方面更有效率。
尽量避免一次获取所有内容，因为有数千条记录意味着大量内存，无论您做什么。
请勿复制数据，除非您有非常令人信服的理由。您可以直接使用托管对象，这样复制数据几乎是不合适的。
由于您似乎在使用集合视图，请考虑使用NSFetchedResultsController。它旨在与表和集合视图一起使用，有助于降低内存和 CPU 使用率。

【讨论】：