程式程式碼及圖解析：

函式原型：__host__cudaError_t cudaMemcpy (void *dst, const void *src, size_t count, cudaMemcpyKind kind)

作用：在裝置端和主機端拷貝資料。

引數：dst 目的地址 src 源地址 count 拷貝位元組大小kind 傳輸的型別

返回值：

cudaSuccess, cudaErrorInvalidValue, cudaErrorInvalidDevicePointer, cudaErrorInvalidMemcpyDirection

說明:

從源地址拷貝設定數量的位元組數至目的地址，kind型別有四種，分別為：

cudaMemcpyHostToHost, cudaMemcpyHostToDevice,  cudaMemcpyDeviceToHost, cudaMemcpyDeviceToDevice，

通過指定方向進行拷貝。儲存器區域不可重疊。如若產生未定義拷貝方向的行為，dst和src將不匹配。

 正文

前面的圖是最簡單的一個CUDA程式，它引出了Grid Block Thread概念。很多threads組成1維，2維or3維的thread block. 為了標記thread在block中的位置（index），我們可以用上面講的threadIdx。threadIdx是一個維度<=3的vector。還可以用thread index（一個標量）表示這個位置。

thread的index與threadIdx的關係：

其中T表示變數threadIdx。（Dx, Dy, Dz）為block的size（每一維有多少threads）。

因為一個block內的所有threads會在同一處理器核心上共享記憶體資源，所以block內有多少threads是有限制的。目前GPU限制每個 block最多有1024個threads。但是一個kernel可以在多個相同shape的block上執行，效果等效於在一個有N*#thread per block個thread的block上執行。

Block又被組織成grid。同樣，grid中block也可以被組織成1維，2維or3維。一個grid中的block數量由系統中處理器個數或待處理的資料量決定。（來自這裡)

 下圖中描述了Thread、Block、Grid記憶體的訪問機制。

每個thread有自己的local-memory。每一個block有自己的共享記憶體、grid和grid之間可以同時訪問全域性記憶體。這裡要注意：block和block之間不能訪問同一個共享記憶體，他們只能訪問自己的共享記憶體。

cudaGetDeviceCount( &count )查詢伺服器的CUDA資訊.

結果：