【问题标题】:Slow mktime when parsing 100,000 YYYYMMDD.HHMMSS strings in C/C++在 C/C++ 中解析 100,000 YYYYMMDD.HHMMSS 字符串时 mktime 很慢
【发布时间】:2016-06-23 05:24:51
【问题描述】:

我有 100,000 个格式为 YYYYMMDD.HHMMSS 的 std::strings,例如。 “20160621.213500”,我需要解析并使用一些值填充结构,包括纪元时间戳。

它运行非常缓慢,罪魁祸首是对 mktime 的调用。有什么办法可以加快速度吗?

#define STRNCPY(dest, src, len) \
    { memcpy((dest), (src), (len)) ; dest[(len)] = '\0'; }

void
DvStorUtils::parseDateTimeString(const char *dateTimeStr, TDateTime &dateTime)
{
    // New, C-Style implementation
    strcpy(dateTime.dateTimeStr, dateTimeStr);

    char buf[32];
    STRNCPY(buf, dateTimeStr,    4);  dateTime.year   = atoi(buf);
    STRNCPY(buf, dateTimeStr+ 4, 2);  dateTime.month  = atoi(buf);
    STRNCPY(buf, dateTimeStr+ 6, 2);  dateTime.day    = atoi(buf);
    STRNCPY(buf, dateTimeStr+ 9, 2);  dateTime.hour   = atoi(buf);
    STRNCPY(buf, dateTimeStr+11, 2);  dateTime.minute = atoi(buf);
    STRNCPY(buf, dateTimeStr+13, 2);  dateTime.second = atoi(buf);


    struct tm tmStruct;
    tmStruct.tm_year = dateTime.year - 1900;
    tmStruct.tm_mon  = dateTime.month-1;
    tmStruct.tm_mday = dateTime.day;
    tmStruct.tm_hour = dateTime.hour;
    tmStruct.tm_min  = dateTime.minute;
    tmStruct.tm_sec  = dateTime.second;

    dateTime.totalSecElapsed = mktime(&tmStruct);
}

【问题讨论】:

  • 这篇博文可能会引起您的兴趣:gmbabar.wordpress.com/2010/12/01/…
  • 慢有多慢? mktime() 调用是整个函数的哪一部分?
  • 也许您可以在线程之间拆分工作负载?
  • 创建你自己的atoi函数,如uint16_t my_atoi(char *str, uin8_t digits)
  • 如果您从文件或其他 I/O 中获取这 100000 个字符串,那么 I/O 时间会在此函数占用的任何时间被淹没。

标签: c++ c mktime


【解决方案1】:

Jeremy 的想法是正确的——mktime 非常非常慢。

注释掉mktime,瞬间处理10万行。即使打印出每一行。将其放回原处,大约需要一分钟才能完成。

我用缓存实现 libfast-mktime 替换了 mktime,它几乎和没有 mktime 一样快。

记忆化的libfast-mktime 在这里运行良好,因为每一行在时间上都与之前的非常接近。

【讨论】:

    【解决方案2】:

    要加速这个 mktime 函数,像这样设置 TZ 系统值就足够了:

    • env TZ=PST8PDT
    • 导出 TZ=PST8PDT

    而且它会很快工作,因为每次获取时区都会逃逸

    【讨论】:

      【解决方案3】:

      如果你只想要 tm 结构中的 time_t 值,那么你可以为它编写一个自定义函数。额外的时间可能是因为 mktime 还填了 tm_wday 和 tm_yday 的值,你的代码没有用到

      【讨论】:

      猜你喜欢
      • 2010-10-11
      • 1970-01-01
      • 2023-03-18
      • 1970-01-01
      • 2015-03-23
      • 2018-09-18
      相关资源
      最近更新 更多