优化 CC_SHA256_Update 的批量读取

Question

我有以下代码来计算输入的 sha_256，我想知道如何知道 CC_SHA256_Update 每次迭代的最佳数据块大小是多少。它是常数值还是取决于系统环境的变量？

 CC_SHA256_CTX sha256;
 CC_SHA256_Init(&sha256);

 const long bufSize = 32768; //how can i find the optimized size ? 
 char* buffer = (char *) malloc(bufSize);

 int bytesRead = 0;
 if(!buffer) {
     return -1;
 }

 while((bytesRead = (int) fread(buffer, 1, bufSize, file))) {
     CC_SHA256_Update(&sha256, buffer, bytesRead);
 }

编辑：我尝试了一种不同的方法，如下面所选答案中所述，并使用 mmap（而不是 malloc+fread）获取数据。不幸的是，id 并没有提高运行时效率（它略有增加）

int fsize(const char *filename) {
    struct stat st; 
    if (stat(filename, &st) == 0)
        return st.st_size;
    return -1; 
}

int fd = open(path, O_RDONLY);

int sz = fsize(path);  
char * buffer = mmap((caddr_t)0, sz, PROT_READ  , MAP_SHARED, fd, 0);

CC_SHA256_CTX sha256;
CC_SHA256_Init(&sha256);

CC_SHA256_Update(&sha256, buffer, sz);

CC_SHA256_Final(output, &sha256);

close(fd);
return 0;

Answer 1

我认为只有使用不同大小进行测试才能清楚地说明这一点，但可能首选 64kB（分配粒度）的倍数。

但为了获得最佳性能，您可以考虑直接在 file 上使用 memory mapping。这将消除将所有数据从内核模式（操作系统磁盘缓存）复制到用户模式的需要。您将直接访问操作系统缓存，并且您可能只需要调用一次CC_SHA256_Update()。