在mysql中存储大数据的最佳方法答案

【问题标题】：Best way to store large data in mysql在mysql中存储大数据的最佳方法
【发布时间】：2011-07-05 10:53:16
【问题描述】：

我需要每小时在数据库中存储大量数据。什么样的数据？文本数据。

最好的方法是什么？存储在多个表或 1 个大表上？

编辑：我刚才说，大文本数据。 “数据”一词的 10000 次

每小时添加一个新行，例如：小时 - 数据

编辑 2：仅仅因为您无法理解这个问题，而且我说“每个小时”，所以您想象在接下来的 10 年中每个小时都会创建一个新行，但这并不意味着它不可读问题。

【问题讨论】：

并非所有内容都必须进入数据库...
Large：数据是多块还是一大块？
请定义要存储的数据是什么，您所说的记录有多少，一个条目有多大。
关于您的编辑。 10年每小时一条记录，就记录数量而言是小数据。单词数据给出的 10000 次是关于记录的 MB 大小的一些提示。它没有向我们提供有关数据是什么或您将如何使用它的任何信息，但您可以将其存储在一个表中。如果表大小有问题，您可以对表进行分区。如果旧数据不会更新，您还可以在 myisam 和存档之间使用合并表....
@keepwalking 我想你忘了你在寻求帮助。如果期待别人的帮助，我会更有礼貌。祝你好运。

标签： mysql

【解决方案1】：

根据需要使用数据类型“text”、“mediumtext”或“largetext”的列。

见：http://dev.mysql.com/doc/refman/5.0/en/blob.html

或者，您可以将数据输出到文件中。它们更适合记录可能不需要经常访问的大量数据 - 看起来可能是这样。

【讨论】：

【解决方案2】：

MySql 在 MySql 5.7 中添加了许多功能。现在您可以通过多种方式做到这一点。

像大数据这样的 Oracle 现已集成到 MySQL 中。

MySql 通过 MySQL 和 Hadoop 解锁了新的大数据洞察力。

解决方案 1： 您可以将 MySQL 用作文档存储。可以将许多对象存储为 JSON。它强烈推荐和可扩展。

MySQL 文档存储 = (MySql + NoSql)。

X Dev API 将有助于通过 X 上的 SQL 和 CRUD 操作生成 JSON 协议。也有可能维持X Session。

最适合聊天应用或群组应用的透明数据打磨和共享。

解决方案 2： MySql Sysbench: Read Only 是另一个最佳解决方案。制作群聊应用将非常非常快速和可扩展。

解决方案 3： 使用MySql 5.7 : InnoDB, NoSql with Memcached API，它将直接与存储引擎 InnoDB 交互。它比 MySql 5.6 快 6 倍。

现在 Facebook 仍在使用这项技术。因为它非常快。

更多详情：

https://www.mysql.com/news-and-events/web-seminars/introducing-mysql-document-store/
https://dev.mysql.com/doc/refman/5.7/en/document-store-setting-up.html
About Big Data: https://www.oracle.com/big-data/index.html
https://www.youtube.com/watch?v=1Dk517M-_7o

【讨论】：

【解决方案3】：

我认为最好使用不被其他任何东西使用但任何使用数据的数据库（因为它是大量文本数据并且可能会减慢 SQL 查询速度）并为每个数据类别创建单独的表。广告@m

【讨论】：