【发布时间】:2016-04-24 05:15:41
【问题描述】:
哪个更有效率?与使用 logger.info() 相比,使用 open() -> write() -> close() 是否有缺点?
PS。我们正在为一所大学积累查询日志,所以它有可能很快变成大数据(考虑到每天查询日志的最小-最大上限为 3GB-9GB,并且它将终生 24/7 持续运行)。如果您能非常详细地及时解释和区分效率和容易出错的方面,我们将不胜感激。
【问题讨论】:
-
我非常怀疑写入日志文件的应用程序是否被视为“大数据”,除非您每秒生成数兆字节的文本。
-
如果您认为这是大数据,那么当您开始使用实际的大数据时,您会大吃一惊。
-
@cricket_007 如果我夸大了我很抱歉,只是我们每天最多累积大约 9GB 的查询日志,我们的这个引擎将一直被我们的大学使用融合之日。
-
@BurhanKhalid 是的,我明白。但是每天有 9GB 的数据,一年 24/7 运行,我想我们很快就会在几年内达到这个期限。 (尽管我们可能会因资源有限的问题而删除不必要的)
-
@AngeloSembrano:每天 9GB 不是“大数据”(没有具体的定义,但你知道我的意思)。您的所有数据都可以存放在一个未压缩的硬盘驱动器上,可存放未来 2 年。
标签: python logging file-writing bigdata