【儀表網(wǎng) 研發(fā)快訊】6月20日，華中科技大學集成電路學院繆向水、李祎教授團隊與清華大學集成電路學院錢鶴、吳華強教授團隊于《科學進展》(Science Advances)合作發(fā)表了憶阻存算一體技術的最新研究成果“Memristive floating-point Fourier neural operator network for efficient scientific modeling”。該論文報道了國際上首個基于憶阻器的浮點精度神經(jīng)網(wǎng)絡求解系統(tǒng)，實現(xiàn)了高精度、高能效、低延時的智能科學計算。
科學計算建模是現(xiàn)代科學研究與工程設計中的重要基礎問題。隨著傳統(tǒng)數(shù)值求解器在復雜建模問題中(如非線性微分方程模型)的求解延時難以滿足需求，以傅里葉神經(jīng)算子(Fourier Neural Operator，F(xiàn)NO)為代表神經(jīng)網(wǎng)絡求解器開始受到廣泛關注。神經(jīng)網(wǎng)絡求解器的訓練與部署依賴高能效、大算力的先進計算平臺。基于憶阻器的存算一體芯片與系統(tǒng)為突破馮·諾依曼瓶頸，實現(xiàn)神經(jīng)網(wǎng)絡的高效訓推提供了一種有潛力的解決方案。然而，與分類、識別等端側神經(jīng)網(wǎng)絡應用不同的是，F(xiàn)NO等神經(jīng)網(wǎng)絡求解器的訓推通常需要單浮點計算(FP32)精度以滿足求解需求。憶阻陣列的模擬計算精度限制、器件實現(xiàn)高精度“寫-驗證”編程的時間與功耗開銷等因素進而成為制約實現(xiàn)浮點精度神經(jīng)網(wǎng)絡求解器訓推的關鍵瓶頸。
針對上述問題，華中科技大學研究團隊在前期憶阻高精度科學計算系統(tǒng)研究基礎上，與清華大學團隊合作構建了一套基于憶阻器的浮點精度神經(jīng)網(wǎng)絡求解系統(tǒng)，實現(xiàn)了FNO網(wǎng)絡的高精度訓練與高效推理。合作團隊對算法、系統(tǒng)與電路進行全層次協(xié)同優(yōu)化設計：電路層面，提出了混合二值憶阻單元與多值憶阻單元的浮點矩陣乘法電路，通過調控浮點數(shù)據(jù)的片上映射構成，滿足不同求解任務的能效與精度需求；系統(tǒng)層面，構建了“通用數(shù)字處理單元-專用數(shù)字處理單元-憶阻存算一體單元”的超異構計算系統(tǒng)，在訓練階段啟用通用數(shù)字處理單元配合憶阻器芯片實現(xiàn)高精度訓練，在推理階段則啟用專用數(shù)字處理單元實現(xiàn)高能效推理；算法層面，利用FNO網(wǎng)絡“動態(tài)權重+固定權重”的構成特性，在訓練中進行靈活部署，提高訓練準確率的同時，降低系統(tǒng)功耗開銷。
圖1. FNO網(wǎng)絡與憶阻存算一體硬件系統(tǒng)
合作研究團隊在180 nm憶阻器芯片測試系統(tǒng)(集成了8塊4 Kb憶阻器芯片)上完成了1-D和3-D FNO網(wǎng)絡的訓練與部署實測(圖1)。針對基于1-D網(wǎng)絡的Burger’s方程求解任務，憶阻計算系統(tǒng)實現(xiàn)了99.6%的求解準確率，相對FP32精度的數(shù)字計算系統(tǒng)，精度損失僅0.2%，推理能效提升約116倍。針對基于3-D FNO網(wǎng)絡的三維熱傳導問題求解任務，異構訓練方法相對全精度數(shù)字計算在節(jié)約22%的訓練時間的同時，訓練精度損失僅為7.3×10-4，相較全憶阻原位訓練則可將訓練延時與功耗開銷降低至1/4(圖2)。研究成果驗證了憶阻存算一體技術在高精度神經(jīng)網(wǎng)絡求解器中的應用潛力，為推動發(fā)展面向AI-for-Science領域的非馮計算系統(tǒng)提供了重要基礎。
圖2. 基于憶阻智能計算系統(tǒng)的FNO訓練，實現(xiàn)Burger’s方程及3D熱導問題的高精度高能效求解
華中科技大學集成電路學院李祎教授和清華大學集成電路學院高濱教授為論文的共同通訊作者。華中科學大學集成電路學院博士畢業(yè)生李健聰(現(xiàn)于香港科技大學從事博士后研究)、博士生田婧和清華大學集成電路學院博士后林鈺登為論文共同第一作者，香港智能晶片與系統(tǒng)研發(fā)中心陳佳博士、華中科技大學集成電路學院何毓輝教授等人參與了本工作。
該工作得到了科技創(chuàng)新2030“腦科學與類腦研究”重大研究計劃、科技部國家重點研發(fā)計劃、湖北省杰出青年基金、華中科技大學基礎研究支持計劃等項目的資助，以及華中科技大學國家集成電路產(chǎn)教融合平臺、北京未來芯片技術高精尖創(chuàng)新中心的支持。
所有評論僅代表網(wǎng)友意見，與本站立場無關。