記憶體影響fps的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列懶人包和總整理

適用於語意分割之全注意U­-Net演算法與設計

為了解決記憶體影響fps的問題，作者張家碩 這樣論述：

近年來卷積神經網路在語意分割上的卓越成果，已具有實際應用價值，特別是在許多醫學影像任務上。然而，對於顱內出血的醫學影像診斷，各種類型容易混淆，如何有效識別各個病變類型、出血位置及出血量面積在醫生診斷上至關重要，尤其是在不意發現又緊急的疾病上。然而傳統上這些資訊需要醫生人工判斷，不但耗時且容易出錯且不易量化。因此我們提出一個能有效預測多種顱內出血變化的語意分割模型，與其軟體加速模型與硬體設計，並可用於其他如街景辨別等自動駕駛任務，達到即時運算。首先，對於顱內出血的醫學影像診斷，由於7種顱內出血病灶，在同個類別中具有多樣形狀，且不同類別間具有易混淆的形狀、大小及位置，甚至有許多病灶特徵面積極小，

造成偵測的困難。為了可以有效預測，本論文提出了All Attention U­-Net網路架構，它融合了多種注意機制在編碼器端、路徑聚合端及解碼器端，進而增強模型的類別與形狀特定特徵提取及鑑別能力。此模型相比於ResNet50 + U­-Net，分別在ICH、SDH、SAH、EDH、CSDH、Pneumocranium、IVH這些病灶中分別有2.25%、28.6%、25.1%、31.8%、6.1%、1%的Dice coefficient提升。此模型並可用於其他如自動駕駛街景分割，在Cityscapes中其可高出2.57% mIoU。然而此模型的結構所需參數量及計算複雜度相當大量，不利於完成即時

語意分割預測。因此，本論文進一步依據所需計算與資料存取對模型計算影響，提出輕量化All Attention U­-Net模型，其可在顱內出血任務中維持準確度，另外它也可用於其他如自動駕駛街景分割，並且適合硬體加速器設計。在輸入解析度為512*512的情況下，計算量與參數量分別只有為2.99GMAC與0.2885M，相較原有模型減少約49.47倍的計算量與116.3倍參數量。此模型的硬體加速器設計上，由於其需同時執行多種注意力機制與多樣shortcut神經網路結構，且有需要更多的記憶體頻寬與計算量的挑戰，現有的CNN硬體加速器無法有效解決。所以本論文提出了局部分組層融合技術，將ShuffleNe

t、空間及渠道注意力機制結構多層融合計算與資料流最佳化處理，並且也提出注意力機制處理單元排程，在注意力機制運算時間與硬體成本間找到最佳平衡，結果顯示執行輕量化All Attention U­-Net時，在輸入解析度為512*512的情況下，記憶體頻寬降低2.363倍且FPS達33.36，達到即時預測語意分割任務水準。最後我們使用台積電的40奈米製程，運作在357MHz下，所需邏輯閘為130萬個NAND gate，並且其能量效率可達到1.41TOPS/W。關鍵字:深度學習、語意分割、顱內出血、頭部電腦斷層掃描、街景辨識任務、輕量化模型、卷積神經網路硬體加速器