CUDA编程11 - CUDA异步执行介绍

        CPU 和 GPU 是两个独立的处理器，CPU负责逻辑处理，调用CUDA API，GPU 负责大规模并行计算。当在CPU上调用CUDA API（比如数据拷贝）时，通常是异步的，调用会立刻返回，CPU不会等待GPU完成，GPU会把请求放到stream流中按顺序执行。这样可以让CPU和GPU并行工作。

一：概述        

        CUDA Stream 是一条GPU命令队列，同一条GPU命令队列中的任务按顺序执行，比如下面这个调用会严格按顺序执行。

cudaMemcpyAsync(H2D) -> kernel -> cudaMemcpyAsync(D2H) 

        不同Stream之间（stream0， stream1，...）的任务，可能并行执行（取决于GPU硬件）。

        CUDA Event 是插在 Stream 里的“标记点”， 主要用途是“计时”， “查询进度”，“同步” 等。举例：

cudaEventRecord(start, 0);
// 一些 GPU 操作
cudaEventRecord(stop, 0);
cudaEventElapsedTime(&ms, start, stop);