【问题标题】:How to properly implement waiting of async computations?如何正确实现异步计算的等待?
【发布时间】:2018-07-26 19:23:45
【问题描述】:

我遇到了一些小麻烦,我正在寻求提示。我在Windows平台上,按如下方式进行计算:

int input = 0;
int output; // junk bytes here
while(true) {
    async_enqueue_upload(input); // completes instantly, but transfer will take 10us
    async_enqueue_calculate(); // completes instantly, but computation will take 80us
    async_enqueue_download(output); // completes instantly, but transfer will take 10us
    sync_wait_finish(); // must wait while output is fully calculated, and there is no junk
    input = process(output); // i cannot launch next step without doing it on the host.
}

我在问关于 wait_finish() 的事情。我必须等待所有设备完成,合并所有结果并以某种方式处理数据并上传一个新部分,该部分基于先前的计算步骤。我需要在每个步骤之间同步数据,所以我不能并行化步骤。我知道,这不是很高效的案例。那么让我们继续提问吧。

我有两种检查完成的方法,在 wait_finish() 中。首先是让线程休眠,直到它被完成事件唤醒:

while( !is_completed() )
    Sleep(1);

它的性能非常低,因为实际计算需要 100us,而最小的 Windows 调度器时间步长是 1ms,所以它的性能降低了 10 倍,这是不合适的。

第二种方法是在空的无限循环中检查完成:

while( !is_completed() )
    {} // do_nothing();

它具有 10 倍的良好计算性能。但这也是不合适的解决方案,因为它充分利用了 cpu 核心利用率,完全无用的工作。如何让 cpu “睡眠”正是我需要的时间? (每个步骤的工作量相同)

当计算时间对于主动自旋等待来说太大但与调度器时间步相比太小时,通常如何解决这种情况?还有相关的子问题 - 如何在 linux 上做到这一点?

【问题讨论】:

    标签: performance theory


    【解决方案1】:

    幸运的是,我已经成功地自己找到了答案。简而言之-我应该为此使用linux。

    我的调查显示如下。在 Windows 上,ntdll 中有隐藏功能,NtDelayExecution()。不通过SDK暴露,可以通过以下方式加载:

    static int(__stdcall *NtDelayExecution)(BOOL Alertable, PLARGE_INTEGER DelayInterval) = (int(__stdcall*)(BOOL, PLARGE_INTEGER)) GetProcAddress(GetModuleHandleW(L"ntdll.dll"), "NtDelayExecution");
    

    它允许以 100ns 的周期设置睡眠间隔。但是,即使这样也不能很好地工作,如下面的基准所示:

    SetPriorityClass(GetCurrentProcess(), REALTIME_PRIORITY_CLASS); // requires Admin privellegies
    SetThreadPriority(GetCurrentThread(), THREAD_PRIORITY_TIME_CRITICAL);
    uint64_t hpf = qpf(); // QueryPerformanceFrequency()
    uint64_t s0 = qpc(); // QueryPerformanceCounter()
    uint64_t n = 0;
    while (1) {     
        sleep_precise(1); // NtDelayExecution(-1); waits one 100-nanosecond interval
        auto s1 = qpc();
        n++;
        auto passed = s1 - s0;
        if (passed >= hpf) {
            std::cout << "freq=" << (n * hpf / passed) << " hz\n";
            s0 = s1;
            n = 0;
        }
    }
    

    这会产生小于 2000 赫兹的循环速率,并且结果因字符串而异。这使我转向了 Windows 线程切换调度程序,它完全不适合实时任务。并且它的最小间隔为0.5ms(+开销)。顺便说一句,有人知道如何调整该值吗?

    接下来是 linux 的问题,它可以做什么?所以我用buildroot 构建了自定义的微型内核4.14,并在那里测试了该基准代码。我用CLOCK_MONOTONIC 时钟替换了qpc() 以返回clock_gettime() 数据,而qpf() 只返回一秒内的纳秒数,sleep_precise() 刚刚调用clock_nanosleep()。我没能找出CLOCK_MONOTONIC 和CLOCK_REALTIME 之间的区别。

    我很惊讶,开箱即用的 18.4khz 频率非常稳定。虽然我测试了几个间隔,但我发现我可以将循环设置为几乎任何高达 18.4khz 的频率,但实际测量的等待时间结果与我所要求的相差 1.6 倍。例如,如果我要求睡 100 us,它实际上睡了 ~160 us,给出了 ~6.25 khz 的频率。系统上什么也没有,只有内核、busybox 和这个测试。我不是经验丰富的 linux 用户,我仍然想知道如何将其调整为更加实时和确定性。我可以将频率最大值推得更高吗?

    【讨论】:

      猜你喜欢
      • 2018-02-13
      • 2018-11-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-03-03
      • 2018-07-19
      • 1970-01-01
      相关资源
      最近更新 更多