【问题标题】:Caching data from MySQL DB - technique and appropriate STL container?从 MySQL DB 缓存数据 - 技术和适当的 STL 容器?
【发布时间】:2011-02-04 16:23:28
【问题描述】:

我正在设计一个可以同时保存大量记录的数据缓存系统,我需要知道要使用什么 stl 容器以及如何使用它。该应用程序是我有一个非常大的用户记录数据库 - 当他们登录到我的系统时,我想提取他们的记录并缓存一些数据,例如用户名和几个重要属性。当他们与系统交互时,我更新并访问他们的属性。有几个属性非常不稳定,我这样做是为了避免在数据库上“敲打”许多事务。此外,我很少需要使用数据库进行排序或其他任何事情 - 我使用它就像一个美化的二进制保存文件(这就是为什么我很乐意将记录缓存到内存中......);对我来说,一个更重要的目标是能够扩展到大量用户。

当用户注销、服务器关闭或周期性地以循环方式(以防万一……)时,我想将他们的数据写回数据库。

服务器保持自己的:

vector <UserData *> loggedInUsers;

使用 UserData 保存数据库中的用户名(字符串)和其他属性,以及网络句柄等其他临时数据。

我的第一个问题是,如果我需要在此向量中找到特定用户,那么 最快 的方法是什么?是否有其他 stl 容器可以让我更快地做到这一点?我现在要做的是创建一个迭代器,从loggedInUsers.begin() 开始并迭代到.end(),检查*iter->username == "foo" 并在找到时返回。如果用户名在向量的末尾,或者向量有 5000 个用户,那么这是一个很大的延迟。

我的第二个问题是,我怎样才能循环安排这些数据写回数据库?每次我准备好将一些记录写入数据库时​​,我都可以调用一个函数。但是我不能为向量持有一个迭代器,因为它会变得无效。我想做的是有一个旋转队列,我可以在其中访问队列的头部,将其保存到数据库,然后将其旋转到队列的末尾。这似乎是一个很大的开销..我可以使用哪种类型来更好地做到这一点?

我的第三个问题是,我正在使用 MySQL 服务器和 libmysqlclient 连接器/C.. 是否有任何内置缓存可以“免费”解决这个问题,或者是否有完全不同的技术?我愿意接受建议

【问题讨论】:

    标签: c++ mysql database stl scalability


    【解决方案1】:

    A1。您最好使用地图,这是一棵为您进行查找的树。使用 map 和(假设您有正确的编译器)或 hash_map(做同样的事情,但查找机制不同)进行测试。对于不同类型的数据存储工作负载,它们具有不同的性能特征。

    A2。一份清单可能对你更好——推到前面,拉到最后。 (也可以使用双端队列,但如果从迭代器中删除,则不能保留迭代器,可以使用列表)。 push_back 和 pop_front(反之亦然)将允许您保持缓存数据的滚动队列。

    A3。您可以尝试 SQLite,这是一个为简单的应用程序级数据库存储需求而设计的小型数据库。它也可以工作entirely in-memory。

    【讨论】:

    • A1:谢谢。 A2:pull/push 的性能怎么样,每次操作都会假设我正在丢弃/添加全新的元素对吗?是否有任何数据结构可以“旋转”? A3:多个应用程序可以访问数据库。更大的后续问题:A1 和 A2 我想合并为一件事,以便我可以将所有这些数据保存在地图中并在地图中旋转以将更新持久化回数据库。我该如何实现?
    • 对不起 A3 我知道你建议我使用内存中的 SQLite 作为数据结构。实际上那会很棒
    【解决方案2】:

    您没有说明您的系统做什么或如何访问它,但这种技术可能无法很好地扩展(因为最终您会耗尽内存并且用于查找信息的任何内容都不会像像数据库一样高效)并且不一定能正确处理并发用户,除非您确保数据可以在他们之间正确共享。

    也就是说.. 您最好使用以用户名作为键的地图 (http://www.cplusplus.com/reference/stl/map/)。

    在写回数据库方面,为什么不存储一个单独的结构(队列),每次写入数据库时​​都可以清除它?只要您存储指针,它就不会使用更多的内存。这让我想到.. 而不是使用指针,您应该看看智能指针(例如 boost's shared_ptr),它可以让您传递它们而不用担心所有权。

    【讨论】:

    • 谢谢,好建议,你说得对,我可以更好地定义我的应用程序。我的数据很小,可以说绝对最大 64 字节。这意味着在 1GB 的 RAM 中,我将有大约 1600 万用户在内存中,所以这没问题(我会先用完网络套接字描述符)。我喜欢你的想法,只是拿着指针,看看你对 shared_ptr 帮助的意思
    猜你喜欢
    • 1970-01-01
    • 2012-01-19
    • 1970-01-01
    • 2010-09-23
    • 1970-01-01
    • 2011-08-20
    • 2012-04-29
    • 1970-01-01
    相关资源
    最近更新 更多