【问题标题】:Realm data Insertion took over 7mins for big size json大型 json 的领域数据插入耗时 7 分钟
【发布时间】:2016-03-17 09:58:23
【问题描述】:

我使用 Alamofire 下载大约 7MB 的大型 json 数据,并使用 RealmSwift 将数据存储在 realmobject 和 SwiftyJSON 进行解析。我在完成下载 json 后插入领域对象似乎真的很慢。是我的问题代码不好?请指导我。

首先我将展示最简单的Json:

{
    {
        "Start" : "40000",
        "End" : "1000000",
        "Name" : "Smith",
        "Address" : "New York"
    },{...},more than 7000 records...
}

这是我的 AlamofireAPI 协议

import Foundation
import Alamofire
import SwiftyJSON

protocol RequestDataAPIProtocol{
    func didSuccessDownloadingData(results:JSON,statusCode : Int)
    func didFailDownloadingData(err : NSError)
}

class RequestDataAPI{

var delegate : RequestDataAPIProtocol
init(delegate: RequestDataAPIProtocol){
    self.delegate=delegate
}

func post(requestURL:String,param:[String:String]){
    Alamofire.request(.GET, requestURL, parameters: param)
        .validate(statusCode: [200,500])
        .responseJSON(completionHandler: { (response: Response<AnyObject, NSError>) -> Void in
            if let error = response.result.error {
                self.delegate.didFailDownloadingData(error)
            } else if let jsonObject: AnyObject = response.result.value {
                let json = JSON(jsonObject)
                self.delegate.didSuccessDownloadingData(json,statusCode: (response.response?.statusCode)!)
            }
        })
}

func doRequestSiteData(token : String){
    post(REQUEST_DATA,param:["data":"All","token":token])
}

}

这是我的 Realm DB Helper

import Foundation
import RealmSwift

class DBHelper{

func insertUserData(list: UserList){
    do {
        let realm = try! Realm()
        try realm.write({ () -> Void in
            realm.add(list,update: true)
        })
    } catch let error as NSError {
        print("Insert Error : \(error)")
    }
}
}

这是我的领域模型对象

import Foundation
import RealmSwift

class UserList: Object {

     dynamic var start : String = ""
     dynamic var end : String = ""
     dynamic var name : String = ""
     dynamic var address : String = ""

}

还有最终代码,视图控制器,

class ViewController : UIViewController , RequestDataAPIProtocol{
       var dbHelper = DBHelper()
       var requestDataAPI : RequestDataAPI!

       override func viewDidLoad() {
           super.viewDidLoad()
           requestDataAPI = RequestDataAPI(delegate : self)
       }

       override func viewDidAppear(animated : Bool){
            //assume there is one token to request data
            requestDataAPI.doRequestSiteData(token)
       }

       func didSuccessDownloadingData(results: JSON, statusCode: Int){
        dispatch_async(dispatch_get_main_queue(), {
            print("Downloaded JSON")
            switch statusCode{
            case 200 :
               if results.count > 0{
                   if let users = results.array {
                      for user in users{
                         let userList=UserList()
                         userList.start=user["Start”].stringValue
                         userList.end=user[“End”].stringValue
                         userList.name=user[“Name”].stringValue
                         userList.address =user[“Address”].stringValue
                         self.dbHelper.insertUserData(userList)
                      }
                   }
               }
               // took about more than 7 mins
               print(“Insertion Done”)
               break

           case 500,401,400 :
               //TODO: 
           default : break
           }
        })
    }
}

我知道描述所有代码步骤真的很愚蠢,我尽可能简单地编写将 json 数据插入领域 swift 的工作流程。

我只想让所有人都知道在处理这么多 json 数据以及插入时我的工作流程是好是坏。

我问这个的原因是数据插入大约需要 7 多分钟才能完成。

所以,我真的需要帮助来优化我的代码。

有什么指南吗?

更新:我使用 RequestDataAPI 中的委托和协议,我从 JamesQueue 教程中学习了这种风格,因为我完全是初学者,仍在学习 Swift。ViewController 已更新。这是我的整个过程细节,不再赘述代码离开。编辑我的问题或回答一个新的代码优化代码表示赞赏。

【问题讨论】:

  • 这 7 分钟是否包括下载所需的时间以及解析 JSON 和创建表示所需的时间?
  • 您将在视图控制器上看到我的评论,它完成了所有进度。 "print("Insertion Done")" 出现了大约 7 分钟多,而 "print("Downloaded JSON")" 只用了几分钟出现。所以,是的,两者都是。
  • 因此,您并没有真正衡量将给定数据插入 Realm 所需的时间。例如,在慢速连接上,下载 7 MB 可能需要“很长时间”。您应该真正衡量将 给定 数据 insert 到 Realm 中所需的时间——而不包括其他任何东西。您可以使用 Instruments 解决这个问题 - 无需更改代码,或在代码中包含“秒表”。我会推荐后者,并将经过的时间记录到控制台。您还可以记录下载的持续时间和解析 JSON 的持续时间(包括创建表示)。
  • 下载并没有花费太多时间,是的,我测试了。“下载的 Json”只花了 10 秒。是的,问题存在于从循环开始插入和解析 json。任何想法如何制作它完美和优化?从我的代码中,你怎么看?这是通常的方式吗?如果我做错了,任何指导表示赞赏。
  • 在您的代码中有几处可以改进的地方,例如,在主线程中插入项目。最好在辅助线程上提交冗长的操作。那么您的 didSuccessDownloadingData 是一个异步函数,但没有完成处理程序。然后,关于性能,仍然不清楚最多周期将花费在哪里。因此,为了(可能)帮助您,请提供更多详细信息,即成本最高的函数的实际名称。使用仪器来解决这个问题。如果 Realm 是罪魁祸首,那应该是insertUserData。

标签: swift insert realm alamofire swifty-json


【解决方案1】:

insertUserData 方法方法在循环中多次打开事务。提交事务是一个有点昂贵的操作。

您可以尝试在循环之外打开/提交事务吗? 也就是说,在进入循环之前打开事务,在循环结束后提交一次事务。像下面这样:

if results.count > 0 {
    if let users = results.array {
        let realm = try! Realm()
        try realm.write {
            for user in users{
                let userList=UserList()
                userList.start=user["Start”].stringValue
                userList.end=user[“End”].stringValue
                userList.name=user[“Name”].stringValue
                userList.address =user[“Address”].stringValue
                realm.add(userList,update: true)
            }
        }
    }
}

【讨论】:

  • puu.sh/nKGvP/56b3deec2f.png。在我看到你的结果之前,我现在就是这样做的。是的,就像你说的那样,当我这样做时它非常快。
  • 看起来你来自领域。谢谢你顺便帮助我。对像我们这样的初学者真的很有帮助。如果你仍然可以,我希望你帮助解决另一个问题。Realm 在其文档中获得了 observeValue我不知道怎么用。这是我的另一个案例:stackoverflow.com/questions/36030347/…希望你能加入。
【解决方案2】:

我已通过使用此代码修复了慢速插入问题。

func addAsBatch<T: Object>(_ data: [T]) {
    if !isRealmAccessible() { return }

    let realm = try! Realm()
    realm.refresh()

    realm.beginWrite()
    for object in data {
        realm.add(object)
    }
    try? realm.commitWrite()
}

在您的示例中显示函数的使用 -

let userList = UserList()
userList.start = user["Start”].stringValue
userList.end = user[“End”].stringValue
userList.name = user[“Name”].stringValue
userList.address  = user[“Address”].stringValue

addAsBatch(userList)

【讨论】:

  • 嗨,你能解释一下为什么使用 realm.refresh() 吗?谢谢
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-08-30
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多