一,、概述
32路同步數(shù)據(jù)采集系統(tǒng)可以完成32路數(shù)據(jù)的同步采集,、存儲以及實(shí)時信號處理等功能,,適用于實(shí)驗(yàn)室振動狀態(tài)在線檢測、噪聲檢測,、溫度試驗(yàn),、環(huán)境試驗(yàn),、雷管引爆延遲時間檢測等應(yīng)用。
32路同步數(shù)據(jù)包括單個板卡通道之間的同步和多個板卡之間的同步,,同步后的數(shù)據(jù)先存在板載DDR3,,再通過PCIe接口把數(shù)據(jù)傳輸?shù)缴衔粰C(jī),如果采集的是瞬態(tài)信號,,可以使用Standard模式,,可以把數(shù)據(jù)都存儲在板載DDR3上,但要求采集的數(shù)據(jù)不能超過板載DDR3存儲容量,;如果采集的是連續(xù)信號,可以使用FIFO模式,,數(shù)據(jù)可以一邊存儲在DDR3上,一邊把數(shù)據(jù)傳輸給上位機(jī),,存儲的時間的長短受限于磁盤容量的大小,。
PCIe高速采集存儲系統(tǒng)由數(shù)據(jù)采集模塊,、高速數(shù)據(jù)存儲模塊,、GPU實(shí)時處理模塊、便攜式工控機(jī)等部分組成,??梢詫?shí)現(xiàn)信號的實(shí)時采集存儲,并且通過調(diào)用Window API的方式實(shí)現(xiàn)了比一般方式更快的數(shù)據(jù)存儲速度,。
二、應(yīng)用方向
具備多次觸發(fā)的連續(xù)數(shù)據(jù)流模式
可長時間進(jìn)行雷達(dá)信號仿真和模擬
具備多次觸發(fā)的連續(xù)數(shù)據(jù)流模式
觸發(fā)間底死區(qū)時間(<80ns)
時域和頻域分析
高級顯示模式
連續(xù)數(shù)據(jù)流存儲
超高的數(shù)據(jù)傳輸速度(>3.4GB/s)
高采樣率和高分辨率
時域和頻域分析
低噪聲模擬信號調(diào)理電路
低噪聲與高分辨率
高SNR(>90dB)與SFDR(>105dB)
上百個同步通道
高SNR(>90dB)與SFDR(>105dB)
功能齊全的模擬信號調(diào)理電路
5GS/s采樣率與寬帶寬
板載分塊統(tǒng)計,、峰值檢測功能
三,、術(shù)語說明
四、環(huán)境說明
硬件平臺
微星X99A SLI PLUS主板
Intel i7-5820k 處理器
金士頓 8GB DDR4 內(nèi)存x4
Spectrum M2i.4912:8通道,,16bit,,10MS/s采樣率AD采集卡
±200mV到±10V軟件可調(diào)增益設(shè)置
50歐姆或1M歐姆輸入阻抗
板載高穩(wěn)定度采集時鐘發(fā)生器,支持外時鐘和外觸發(fā)同步輸入
PCIe2.0 x1接口
512MB板載內(nèi)存
Star-Hub實(shí)現(xiàn)多板卡同步:
NVIDIA GeForce GTX 980
Maxwell架構(gòu)
支持CUDA 并行處理
CUDA處理器核心達(dá)2048
4TB RAID0磁盤陣列
連續(xù)存儲速度可達(dá)1.2GB/s
磁盤陣列由4塊1TB三星固態(tài)硬盤組成,,每個固態(tài)硬盤支持大500MS/s(實(shí)測)的寫入速度,,組成RAID0陣列后支持大1.2GB/s(實(shí)測)的寫入速度。RAID0磁盤沒有奇偶數(shù)目的要求,,數(shù)據(jù)被平均分割存儲到多個磁盤上,,總的讀寫速度就是磁盤數(shù)量乘以單個磁盤的讀寫速度,缺點(diǎn)在于一塊磁盤損壞,,則整個磁盤陣列即壞,,數(shù)據(jù)無法被修復(fù)。
軟件平臺
- Win7 x64操作系統(tǒng)
- SBench6操作軟件
Control Center:Control center是spectrum公司的專有的控制采集卡校準(zhǔn),、license激活,、底層kernel控制的軟件。啟動control center有Kernel Register Settings,,可以設(shè)置底層kernel開辟的物理連續(xù)地址空間,,用于DMA大數(shù)據(jù)量存儲使用。
我們知道,,目前的操作系統(tǒng)中,,非常嚴(yán)格的把物理存儲空間、內(nèi)核存儲空間,、上層用戶存儲空間區(qū)分開來,。
Windows操作系統(tǒng)對內(nèi)存的管理是按照4kByte來進(jìn)行的。
對于軟件來說,,申請到的虛擬內(nèi)存都是通過內(nèi)存管理單元每4kByte來進(jìn)行分配的,。對于上位機(jī)軟件來說,分配1個很大的內(nèi)存空間,,在虛擬內(nèi)存上是連續(xù)的,,但是在物理地址上有可能是很多個獨(dú)立的4kByte組成的。
當(dāng)使用虛擬的內(nèi)存來進(jìn)行DMA傳輸數(shù)據(jù)的時候,,這個過程是非常復(fù)雜的,。
因?yàn)椋?/span>DMA傳輸數(shù)據(jù)是直接通過物理地址傳遞的,這樣DMA傳輸就得通過每個獨(dú)立的4kByte的頁來進(jìn)行傳輸,,這樣每次DMA傳輸?shù)臄?shù)據(jù)都是在不同物理地址4kByte頁上切換到降低DMA傳輸?shù)男省?/span>
Spectrum kernel driver:Spectrum公司通過自己底層驅(qū)動,,可以通過軟件向底層申請開辟一段物理地址連續(xù)的地址空間,申請完,,需要重啟電腦,,重啟電腦,在PC機(jī)boot的過程中,,需要多花費(fèi)平時的80%的啟動時間,。
五、總體設(shè)計
硬件總體框架:
數(shù)據(jù)采集系統(tǒng)在FIFO模式下數(shù)據(jù)的傳輸存儲速度主要受限于PCIE接口的傳輸速度與磁盤的寫入速度,。
本系統(tǒng)數(shù)據(jù)采集卡采用PCIex1 Gen2.0接口,,數(shù)據(jù)傳輸速度可達(dá)160MB/s。采集卡為16bit,,采樣率高為10MS/s,,這時單個采集卡在FIFO模式下需傳輸?shù)臄?shù)據(jù)量為:
16bit/2*10MS/s*8=160MB/s
恰好達(dá)到PCIe接口的極限速度,。采集到的信號在寫入磁盤時總的數(shù)據(jù)量為:
160MB/s*4=640MB/s
寫入速度超過單個固態(tài)硬盤的寫入速度,但使用RAID0陣列時,,則可以滿足寫入的需求,。
六、高速存儲模塊
限制文件存儲速度的終瓶頸還是磁盤的固有特性,,我們所能做到只是改善軟件的實(shí)現(xiàn)去逼近硬盤的極限讀寫速度,。一般windows系統(tǒng)粘貼拷貝文件的時候,影響存儲速度地方就在于它利用了windows文件緩存機(jī)制,,當(dāng)你拷貝一個大文件時,,windows會根據(jù)你要拷貝的文件大小緩存很大一部分到系統(tǒng)緩存,這時候你會看到系統(tǒng)緩存瞬間飆漲,,機(jī)器性能大大降低,,所以我們要避免使用windows緩存機(jī)制,并且盡量讀寫連續(xù)的文件塊,。
利用Window API讀寫文件
一般來說,,我們操作一個windows I/O句柄用的是windows文件讀寫系列API:CreateFile, ReadFile, WriteFile等,這些API不僅可以讀寫文件句柄,,所有的I/O設(shè)備句柄都能通過這些API來操作,。比如socket描述符, 串口描述符,管道描述符等,。通過設(shè)置他們的參數(shù),,我們可以選擇以不同的方式操作IO。
對于讀寫速度,,重要的是dwFlagsAndAttrib參數(shù),,FILE_FLAG_NO_BUFFERING指示系統(tǒng)不使用快速緩沖區(qū)或緩存,當(dāng)和FILE_FLAG_OVERLAPPED組合,,該標(biāo)志給出大的異步操作量,,因?yàn)?/span>I/O不依賴內(nèi)存管理器的異步操作。然而,,一些I/O操作將會運(yùn)行得長一些,,因?yàn)閿?shù)據(jù)沒有控制在緩存中。
當(dāng)使用FILE_FLAG_NO_BUFFERING打開文件進(jìn)行工作時,,程序必須達(dá)到下列要求:
1. 文件的存取開頭的字節(jié)偏移量必須是扇區(qū)尺寸的整倍數(shù),。
2. 文件存取的字節(jié)數(shù)必須是扇區(qū)尺寸的整倍數(shù)。例如,,如果扇區(qū)尺寸是512字節(jié),。程序就可以讀或者寫512,1024或者2048字節(jié),,但不能夠是335,981或者7171字節(jié),。
3. 進(jìn)行讀和寫操作的地址必須在扇區(qū)的對齊位置,,在內(nèi)存中對齊的地址是扇區(qū)。尺寸的整倍數(shù),。一個將緩沖區(qū)與扇區(qū)尺寸對齊的途徑是使用VirtualAlloc函數(shù),。
它分配與操作系統(tǒng)內(nèi)存頁大小的整倍數(shù)對齊的內(nèi)存地址.這塊內(nèi)存在地址中同樣與扇區(qū)尺寸大小的整倍數(shù)對齊。程序可以通過調(diào)用GetDiskFreeSpace來確定扇區(qū)的尺寸,。
高速采集存儲配置
為了實(shí)現(xiàn)高速采集存儲,此處用到了windows多線程編程,,一個線程接收板卡采集到的數(shù)據(jù),,一個線程負(fù)責(zé)寫文件。為了保證存儲文件的速度需要連續(xù)寫入大文件,,通過申請兩個大小相同的buffer,,執(zhí)行ping-pang寫文件操作。
Buf0和Buf1收發(fā)數(shù)據(jù)為ping-pang原理,,Buf0和Buf1的狀態(tài)為empty和full,,當(dāng)數(shù)據(jù)通過TX DMA讀出后,Buf的狀態(tài)置為empty,,當(dāng)數(shù)據(jù)通過RX DMA寫入后,,Buf的狀態(tài)置為full。RX DMA和TX DMA的狀態(tài)分別有WrBuf0,,WrBuf1,,RdBuf0,RdBuf1,,OpCmpt,,NotStart,TXHungry0,,TXHungry1幾種狀態(tài),。
對于ADC接收數(shù)據(jù)方向,RX DMA寫buf0產(chǎn)生完成中斷后,,首先開始寫buf1操作,,然后建立寫buf0的DMA接收鏈表。同樣當(dāng)RX DMA寫buf1產(chǎn)生完成中斷后,,首先開始寫buf0操作,,然后建立寫buf1的DMA接收鏈表。
對于PCIE發(fā)送數(shù)據(jù)方向,,TX DMA讀buf0產(chǎn)生完成中斷后,,首先開始讀buf1操作,然后建立讀buf0的DMA發(fā)送鏈表,。同樣當(dāng)TX DMA讀buf1產(chǎn)生完成中斷后,,首先開始讀buf0操作,,然后建立讀buf1的DMA發(fā)送鏈表。
根據(jù)PC機(jī)實(shí)際內(nèi)存大小,,設(shè)置相應(yīng)的buffer大小,,buffer需要盡可能大。通過API工程里面的宏定義設(shè)置buffer的大小,。
另外幾個與高速存儲相關(guān)的API如下圖:
nQTStoreInit輸出參數(shù)為板卡信息塊,,通過調(diào)同此接口申請好Ping-Pang buffer,由于運(yùn)行時間較長,,所以建議放置在配置過程中執(zhí)行,。nQTStoreData創(chuàng)建好文件,并且開始采集存儲,。在執(zhí)行了一段時間的采集后可以通過調(diào)用nQTStoreStop來停止采集和存儲,。值得注意的是程序通過Ping-Pang機(jī)制存儲所以會導(dǎo)致后得到的文件大小是Buffer大小的整數(shù)倍,但是會保證上位機(jī)獲取到的數(shù)據(jù)全部都存入到文件中,。為了實(shí)現(xiàn)循環(huán)開始存儲,,停止存儲操作,避免此過程中內(nèi)存的重復(fù)申請與釋放導(dǎo)致降低效率,,把內(nèi)存釋放的操作以下API中:
在程序運(yùn)行的結(jié)尾,,通過調(diào)用nQTFreeMemrory來釋放Ping-Pang buffer的內(nèi)存。這樣就完成了從打開板卡進(jìn)行數(shù)據(jù)采集到數(shù)據(jù)存儲到工控機(jī)硬盤中的全過程,。
與一般存儲方式速度對比
一般存儲方式通過調(diào)用C語言中的fwrite進(jìn)行寫數(shù)據(jù)的操作,但這樣的方式在數(shù)據(jù)量巨大的情況下與Writefile這種調(diào)用Windows API方式進(jìn)行對比時速度差異明顯,,在使用Writefile方式進(jìn)行大量數(shù)據(jù)寫入時速度可逼近硬盤的寫入速度,。
下圖為寫入1GB數(shù)據(jù)時使用fwrite進(jìn)行寫數(shù)據(jù)操作時實(shí)測的速度:
下圖為寫入1GB數(shù)據(jù)時使用WriteFile進(jìn)行寫數(shù)據(jù)操作時實(shí)測的速度:
由圖中測試數(shù)據(jù)可知,使用WriteFile進(jìn)行寫數(shù)據(jù)時速度可達(dá)1193.46MB/s,,遠(yuǎn)遠(yuǎn)快于使用fwrite時669.146MB/s的寫入速度,。當(dāng)寫入的數(shù)據(jù)量越大時,WriteFile的優(yōu)勢越明顯,,直至逼近磁盤陣列的極限速度,。
七、GPU分析處理模塊
NVIDIA GPU介紹
圖形處理單元CPU英文全稱Graphic Processing Unit,,GPU是相對于CPU的一個概念,,NVIDIA公司在1999年發(fā)布GeForce256圖形處理芯片時首先提出GPU的概念。GPU使顯卡減少了對CPU的依賴,,并進(jìn)行部分原本CPU的工作,,主要是并行計算部分。CPU具有強(qiáng)大的浮點(diǎn)數(shù)編程和計算能力,在計算吞吐量和內(nèi)存帶寬上,,現(xiàn)代的GPU遠(yuǎn)遠(yuǎn)超過CPU,。
使用NVIDIA CUDA Fast Fourier Transform Library提供了一個簡單計算FFT運(yùn)算的接口,而不用用戶自己實(shí)現(xiàn)FFT算法,。
GPU內(nèi)存管理
Host:將CPU及系統(tǒng)的內(nèi)存稱為主機(jī)
Device:將GPU及GPU本身的顯示內(nèi)存稱為設(shè)備
cudaMalloc(): 與C語言中的malloc函數(shù)一樣,,用戶函數(shù)分配線性內(nèi)存空間。
cudaMemcpy():與C語言中的memcpy函數(shù)一樣,,只是此函數(shù)可以在主機(jī)內(nèi)存和GPU內(nèi)存之間互相拷貝數(shù)據(jù),。
cudaFree():與C語言中的free函數(shù)一樣,只是此函數(shù)釋放的是
cudaMalloc:分配的內(nèi)存,,主要用于釋放線性內(nèi)存空間,。
CPU與GPU進(jìn)行FFT分析速度對比
lCPU FFT分析
MATLAB對10M Sample的數(shù)據(jù)進(jìn)行FFT運(yùn)算,時間0.594697s,,如下圖:
lGPU FFT分析
使用GPU進(jìn)行FFT計算,FFT點(diǎn)數(shù)10M Sample,,運(yùn)行時間0.00006175s,。
對GPU FFT運(yùn)算之后的結(jié)果,10M個實(shí)部real和10M個虛部imag,,用MATLAB進(jìn)行仿真,,如下圖: