【问题标题】:Segmented Prime sieve分段初筛
【发布时间】:2014-11-03 04:23:57
【问题描述】:

在网上偶然发现了这种高效的分段素筛,请帮我理解工作原理,尤其是next向量的使用

段大小的具体选择如何影响性能?

const int L1D_CACHE_SIZE = 32768;
void segmented_sieve(int64_t limit, int segment_size = L1D_CACHE_SIZE)
{
    int sqrt = (int) std::sqrt((double) limit);
    int64_t count = (limit < 2) ? 0 : 1;
    int64_t s = 2;
    int64_t n = 3;

    // vector used for sieving
    std::vector<char> sieve(segment_size);

    // generate small primes <= sqrt
    std::vector<char> is_prime(sqrt + 1, 1);
    for (int i = 2; i * i <= sqrt; i++)
        if (is_prime[i])
            for (int j = i * i; j <= sqrt; j += i)
                is_prime[j] = 0;

    std::vector<int> primes;
    std::vector<int> next;

    for (int64_t low = 0; low <= limit; low += segment_size)
    {
        std::fill(sieve.begin(), sieve.end(), 1);

        // current segment = interval [low, high]
        int64_t high = std::min(low + segment_size - 1, limit);

        // store small primes needed to cross off multiples
        for (; s * s <= high; s++)
        {
            if (is_prime[s])
            {
                primes.push_back((int) s);
                next.push_back((int)(s * s - low));
            }
        }
        // sieve the current segment
        for (std::size_t i = 1; i < primes.size(); i++)
        {
            int j = next[i];
            for (int k = primes[i] * 2; j < segment_size; j += k)
                sieve[j] = 0;
            next[i] = j - segment_size;
        }

        for (; n <= high; n += 2)
            if (sieve[n - low]) // n is a prime
                count++;
    }

    std::cout << count << " primes found." << std::endl;
} 

【问题讨论】:

  • 保留您 push_back 的向量。

标签: c++ algorithm primes sieve-of-eratosthenes


【解决方案1】:

这是同一算法的更简洁的表述,它应该使原理更加清晰(full, runnable .cpp for segment size timings @ pastebin 的一部分)。这会初始化一个压缩(仅奇数)筛,而不是计算素数,但所涉及的原理是相同的。下载并运行 .cpp 以查看段大小的影响。基本上,最佳值应该在 CPU 的 L1 缓存大小附近。太小,由于轮数增加而导致的开销开始占主导地位;太大,你会因为 L2 和 L3 缓存的较慢时间而受到惩罚。另见How does segmentation improve the running time of Sieve of Eratosthenes?

void initialise_packed_sieve_4G (void *data, unsigned segment_bytes = 1 << 15, unsigned end_bit = 1u << 31)
{
   typedef std::vector<prime_and_offset_t>::iterator prime_iter_t;
   std::vector<prime_and_offset_t> small_factors;

   initialise_odd_primes_and_offsets_64K(small_factors);

   unsigned segment_bits = segment_bytes * CHAR_BIT;
   unsigned partial_bits = end_bit % segment_bits;
   unsigned segments     = end_bit / segment_bits + (partial_bits != 0);

   unsigned char *segment = static_cast<unsigned char *>(data);
   unsigned bytes = segment_bytes;

   for ( ; segments--; segment += segment_bytes)
   {
      if (segments == 0 && partial_bits)
      {
         segment_bits = partial_bits;
         bytes = (partial_bits + CHAR_BIT - 1) / CHAR_BIT;
      }

      std::memset(segment, 0, bytes);

      for (prime_iter_t p = small_factors.begin(); p != small_factors.end(); ++p)
      {
         unsigned n = p->prime;
         unsigned i = p->next_offset;

         for ( ; i < segment_bits; i += n)
         {
            set_bit(segment, i);
         }

          p->next_offset = i - segment_bits;
      }
   }
}

如果在段与段之间没有记住偏移量,那么每次重新计算的索引都必须使用至少一次除法和一次乘法,再加上条件或严重的位技巧来重新计算它们。当筛选完整的 2^32 数字范围(每个 32 KB 的 8192 段)时,至少有 53,583,872 次慢除法和相同数量的稍快乘法;这大约是初始化一个完整的 2^32 筛子所需的时间增加了一秒(仅赔率的 Eratosthenes 为 2^31 位)。

以下是我使用这种“重构”数学的旧筛子中的一些实际代码:

for (index_t k = 1; k <= max_factor_bit; ++k)
{
   if (bitmap_t::traits::bt(bm.bm, k))  continue;

   index_t n = (k << 1) + 1;     // == index_for_value(value_for_index(k) * 2) == n
   index_t i = square(n) >> 1;   // == index_for_value(square(n))

   if (i < offset)
   {
      i += ((offset - i) / n) * n;
   }

   for ( ; i <= new_max_bit; i += n)
   {
      bitmap_t::traits::bts(bm.bm, i); 
   }
}

整个筛子大约需要 5.5 秒 (VC++);首先显示的代码使用相同的编译器只需 4.5 秒,使用 gcc 4.8.1 (MinGW64) 只需 3.5 秒。

这里是 gcc 计时:

sieve bits = 2147483648 (equiv. number = 4294967295)

segment size    4096 (2^12) bytes ...   4.091 s   1001.2 M/s
segment size    8192 (2^13) bytes ...   3.723 s   1100.2 M/s
segment size   16384 (2^14) bytes ...   3.534 s   1159.0 M/s
segment size   32768 (2^15) bytes ...   3.418 s   1198.4 M/s
segment size   65536 (2^16) bytes ...   3.894 s   1051.9 M/s
segment size  131072 (2^17) bytes ...   4.265 s    960.4 M/s
segment size  262144 (2^18) bytes ...   4.453 s    919.8 M/s
segment size  524288 (2^19) bytes ...   5.002 s    818.9 M/s
segment size 1048576 (2^20) bytes ...   5.176 s    791.3 M/s
segment size 2097152 (2^21) bytes ...   5.135 s    797.7 M/s
segment size 4194304 (2^22) bytes ...   5.251 s    780.0 M/s
segment size 8388608 (2^23) bytes ...   7.412 s    552.6 M/s

digest { 203280221, 0C903F86, 5B253F12, 774A3204 }

注意:可以通过称为“presifying”的技巧从那时起再缩短一秒,即将预先计算的图案爆破到位图中,而不是在开始时将其归零。这使得整个筛子的 gcc 时间降低到 2.1 秒,this hacked copy of the earlier .cpp。这个技巧与缓存大小的块中的分段筛选一起非常有效。

【讨论】:

    【解决方案2】:

    我不是这方面的专家,但我的直觉告诉我:

    1. 极限筛搜索表

      适合 CPU 的 L1 CACHE 充分利用当前硬件架构的性能提升

    2. next向量

      如果你想分割筛子 那么你必须记住每个已筛选的素数的最后一个索引,例如:

      • 筛选的素数:2,3,5
      • 段大小:8

         |0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7| // segments
        -----------------------------------------------
        2|-   x   x    x   x   x   x   x    x   x   x   x   
        3|-     x      x      x      x      x      x      x  
        5|-          x          x          x          x      
        -----------------------------------------------
         |                 ^                ^                ^ 
                                    // next value offset for each prime
        

      所以在填充下一段时,您可以顺利继续...

    【讨论】:

    • @PratikKumar btw 出于某些目的(如 IsPrime 的非有序/统一使用?测试)是周期性筛子更快,以提高整体性能看这里(你可能会感兴趣)stackoverflow.com/a/22477240/2521214
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2022-11-28
    • 1970-01-01
    • 2016-04-06
    • 2012-07-30
    • 2014-07-20
    • 2012-05-02
    • 2019-05-22
    相关资源
    最近更新 更多