【发布时间】：2017-08-17 07:26:58
【问题描述】：
我目前正在尝试从网站上抓取数据并从中构建一个大型（并且可能会随着时间增长）数据集。我想知道在处理、保存和加载大型数据集时是否有任何好的做法可以采用。
更具体地说，当我要保存的数据集太大而无法存储在RAM中时，我该怎么办，然后一次性写入磁盘；一次写一个数据点效率太低了？有没有比一次写入一个中等大小的文件更聪明的方法？
感谢您的宝贵时间！
【问题讨论】：
-
不要重新发明轮子，只需使用任何标准数据库 - MySQL、Postgress、Oracle、w/e。让数据库引擎担心 [in] 效率。