記憶體封裝技術的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列懶人包和總整理

PyTorch深度學習和圖神經網路（卷1）--基礎知識

為了解決記憶體封裝技術的問題，作者李金洪 這樣論述：

本書從基礎知識開始，介紹深度學習與圖神經網路相關的一系列技術與實現方法，主要內容包括PyTorch的使用、神經網路的原理、神經網路的基礎模型、圖神經網路的基礎模型。書中側重講述與深度學習基礎相關的網路模型和演算法思想，以及圖神經網路的原理，且針對這些知識點給出在PyTorch框架上的實現代碼。本書適合想學習圖神經網路的技術人員、人工智慧從業人員閱讀，也適合作為大專院校相關專業的師生用書和培訓班的教材。 李金洪 精通C、Python、Java語言，擅長神經網路、演算、協定分析、移動互聯網安全架構等技術，先後擔任過CAD演算工程師、架構師、專案經理、部門經理等職位。參與過深度

學習領域某移動互聯網後臺的OCR項目，某娛樂節目機器人的語音辨識、聲紋識別專案，金融領域的若干分類專案。 第一篇 入門——PyTorch基礎 第1章 快速瞭解人工智慧與PyTorch　3 1.1　圖神經網路與深度學習　4 1.1.1　深度神經網路　4 1.1.2　圖神經網路　4 1.2　PyTorch是做什麼的　4 1.3　PyTorch的特點　5 1.4　PyTorch與TensorFlow各有所長　6 1.5　如何使用本書學好深度學習　8 第2章 搭建開發環境　9 2.1　下載及安裝Anaconda　10 2.1.1　下載Anaconda開發工具　10 2.1.2　

安裝Anaconda開發工具　10 2.1.3　安裝Anaconda開發工具時的注意事項　11 2.2　安裝PyTorch　11 2.2.1　打開PyTorch官網　12 2.2.2　配置PyTorch安裝命令　12 2.2.3　使用配置好的命令安裝PyTorch　12 2.2.4　配置PyTorch的鏡像源　13 2.3　熟悉Anaconda 3的開發工具　15 2.3.1　快速瞭解Spyder　15 2.3.2　快速瞭解Jupyter Notebook　17 2.4　測試開發環境　18 第3章　PyTorch基本開發步驟——用邏輯回歸擬合二維資料　19 3.1　實例1：從一組看似混亂的資

料中找出規律　20 3.1.1　準備數據　20 3.1.2　定義網路模型　21 3.1.3　搭建網路模型　22 3.1.4　訓練模型　23 3.1.5　視覺化訓練結果　23 3.1.6　使用及評估模型　24 3.1.7　視覺化模型　25 3.2　模型是如何訓練出來的　26 3.2.1　模型裡的內容及意義　26 3.2.2　模型內部資料流程向　27 3.3　總結　27 第4章　快速上手PyTorch　29 4.1　神經網路中的幾個基底資料型別　30 4.2　張量類的基礎　30 4.2.1　定義張量的方法　30 4.2.2　張量的類型　32 4.2.3　張量的type()方法　33 4.3　張量

與NumPy　34 4.3.1　張量與NumPy類型資料的相互轉換　34 4.3.2　張量與NumPy各自的形狀獲取　34 4.3.3　張量與NumPy各自的切片操作　34 4.3.4　張量與NumPy類型資料相互轉換間的陷阱　35 4.4　在CPU和GPU控制的記憶體中定義張量　36 4.4.1　將CPU記憶體中的張量轉化到GPU記憶體中　36 4.4.2　直接在GPU記憶體中定義張量　36 4.4.3　使用to()方法來 設備　36 4.4.4　使用環境變數CUDA_VISIBLE_DEVICES來 設備　36 4.5　生成隨機值張量　37 4.5.1　設置隨機值種子　37 4.5.2　按

照 形狀生成隨機值　37 4.5.3　生成線性空間的隨機值　37 4.5.4　生成對數空間的隨機值　38 4.5.5　生成未初始化的矩陣　38 4.5.6　 多的隨機值生成函數　38 4.6　張量間的數學運算　38 4.6.1　PyTorch的運算函數　39 4.6.2　PyTorch的自變化運算函數　39 4.7　張量間的資料操作　39 4.7.1　用torch.reshape()函數實現資料維度變換　39 4.7.2　實現張量資料的矩陣轉置　40 4.7.3　view()方法與contiguous()方法　40 4.7.4　用torch.cat()函數實現資料連接　41 4.7.5　用to

rch.chunk()函數實現資料均勻分割　41 4.7.6　用torch.split()函數實現資料不均勻分割　42 4.7.7　用torch.gather()函數對張量資料進行檢索　42 4.7.8　按照 閾值對張量進行過濾　42 4.7.9　找出張量中的非零值索引　43 4.7.10　根據條件進行多張量取值　43 4.7.11　根據閾值進行資料截斷　43 4.7.12　獲取資料中 值、 小值的索引　43 4.8　Variable類型與自動微分模組　44 4.8.1　自動微分模組簡介　44 4.8.2　Variable物件與張量物件之間的轉化　44 4.8.3　用no_grad()與ena

ble_grad()控制梯度計算　45 4.8.4　函數torch.no_grad()介紹　45 4.8.5　函數enable_grad()與no_grad()的嵌套　46 4.8.6　用set_grad_enabled()函數統一管理梯度計算　47 4.8.7　Variable物件的grad_fn屬性　47 4.8.8　Variable物件的is_leaf屬性　48 4.8.9　用backward()方法自動求導　48 4.8.10　自動求導的作用　49 4.8.11　用detach()方法將Variable物件分離成葉子節點　49 4.8.12　volatile屬性擴展　50 4.9　定義

模型結構的步驟與方法　50 4.9.1　代碼實現： Module類的使用方法　50 4.9.2　模型中的參數Parameters類　52 4.9.3　為模型添加參數　53 4.9.4　從模型中獲取參數　53 4.9.5　保存與載入模型　56 4.9.6　模型結構中的鉤子函數　57 4.10　模型的網路層　58 第5章　神經網路的基本原理與實現　59 5.1　瞭解深度學習中的神經網路與神經元　60 5.1.1　瞭解單個神經元　60 5.1.2　生物神經元與電腦神經元模型的結構相似性　62 5.1.3　生物神經元與電腦神經元模型的工作流程相似性　63 5.1.4　神經網路的形成　63 5.2　深

度學習中的基礎神經網路模型　63 5.3　什麼是全連接神經網路　64 5.3.1　全連接神經網路的結構　64 5.3.2　實例2：分析全連接神經網路中每個神經元的作用　64 5.3.3　全連接神經網路的擬合原理　66 5.3.4　全連接神經網路的設計思想　67 5.4　啟動函數——加入非線性因素，彌補線性模型缺陷　68 5.4.1　Sigmoid函數　68 5.4.2　tanh函數　69 5.4.3　ReLU函數　70 5.4.4　啟動函數的多種形式　72 5.4.5　擴展1： 好的啟動函數（Swish與Mish）　73 5.4.6　擴展2： 適合NLP任務的啟動函數（GELU）　74 5.5

　啟動函數總結　75 5.6　訓練模型的步驟與方法　76 5.7　神經網路模組（nn）中的損失函數　76 5.7.1　L1損失函數　76 5.7.2　均值平方差（MSE）損失函數　77 5.7.3　交叉熵損失（CrossEntropyLoss）函數　77 5.7.4　其他的損失函數　78 5.7.5　總結：損失演算法的選取　79 5.8　Softmax演算法——處理分類問題　79 5.8.1　什麼是Softmax　80 5.8.2　Softmax原理　80 5.8.3　常用的Softmax介面　80 5.8.4　實例3：Softmax與交叉熵的應用　81 5.8.5　總結： 好地認識Softm

ax　82 5.9　優化器模組　82 5.9.1　瞭解反向傳播與BP演算法　82 5.9.2　優化器與梯度下降　83 5.9.3　優化器的類別　83 5.9.4　優化器的使用方法　83 5.9.5　查看優化器的參數結構　84 5.9.6　常用的優化器——Adam　85 5.9.7　 好的優化器——Ranger　85 5.9.8　如何選取優化器　85 5.10　退化學習率——在訓練的速度與精度之間找到平衡　86 5.10.1　設置學習率的方法——退化學習率　86 5.10.2　退化學習率介面（lr_scheduler）　87 5.10.3　使用lr_scheduler介面實現多種退化學習率　88

5.11　實例4：預測泰坦尼克號船上的生存乘客　91 5.11.1　載入樣本　91 5.11.2　樣本的特徵分析——離散資料與連續資料　92 5.11.3　處理樣本中的離散資料和Nan值　93 5.11.4　分離樣本和標籤並製作成資料集　95 5.11.5　定義Mish啟動函數與多層全連接網路　96 5.11.6　訓練模型並輸出結果　97 第二篇　基礎——神經網路的監督訓練與無監督訓練   第6章　實例5：識別黑白圖中的服裝圖案　101 6.1　熟悉樣本：瞭解Fashion-MNIST資料集　102 6.1.1　Fashion-MNIST的起源　102 6.1.2　Fashion-MNI

ST的結構　102 6.1.3　手動下載Fashion-MNIST資料集　103 6.1.4　代碼實現：自動下載Fashion-MNIST資料集　103 6.1.5　代碼實現：讀取及顯示Fashion-MNIST中的資料　104 6.2　製作批次資料集　105 6.2.1　資料集封裝類DataLoader　105 6.2.2　代碼實現：按批次封裝Fashion-MNIST資料集　106 6.2.3　代碼實現：讀取批次資料集　107 6.3　構建並訓練模型　108 6.3.1　代碼實現：定義模型類　108 6.3.2　代碼實現：定義損失的計算方法及優化器　110 6.3.3　代碼實現：訓練模型　

110 6.3.4　代碼實現：保存模型　111 6.4　載入模型，並用其進行預測　111 6.5　評估模型　112 6.6　擴展：多顯卡並行訓練　113 6.6.1　代碼實現：多顯卡訓練　113 6.6.2　多顯卡訓練過程中，保存與讀取模型檔的注意事項　115 6.6.3　在切換設備環境時，保存與讀取模型檔的注意事項　116 6.6.4　處理顯存殘留問題　116 第7章　監督學習中的神經網路　119 7.1　從視覺的角度理解卷積神經網路　120 7.1.1　生物視覺系統原理　120 7.1.2　微積分　120 7.1.3　離散微分與離散積分　120 7.1.4　視覺神經網路中的離散積分　12

1 7.2　卷積神經網路的結構　121 7.2.1　卷積神經網路的工作過程　122 7.2.2　卷積神經網路與全連接網路的區別　123 7.2.3　瞭解1D卷積、2D卷積和3D卷積　123 7.2.4　實例分析：Sobel運算元的原理　123 7.2.5　深層神經網路中的卷積核　126 7.2.6　理解卷積的數學意義——卷積分　126 7.3　卷積神經網路的實現　127 7.3.1　瞭解卷積介面　127 7.3.2　卷積操作的類型　129 7.3.3　卷積參數與卷積結果的計算規則　130 7.3.4　實例6：卷積函數的使用　130 7.3.5　實例7：使用卷積提取圖片的輪廓　135 7.4　深

層卷積神經網路　138 7.4.1　深層卷積神經網路組成　138 7.4.2　池化操作　140 7.4.3　瞭解池化介面　140 7.4.4　實例8：池化函數的使用　141 7.4.5　實例9：搭建卷積神經網路　143 7.5　迴圈神經網路結構　145 7.5.1　瞭解人的記憶原理　145 7.5.2　迴圈神經網路的應用領域　146 7.5.3　迴圈神經網路的正向傳播過程　147 7.5.4　BP演算法與BPTT演算法的原理　148 7.5.5　實例10：簡單迴圈神經網路實現——設計一個退位減法器　149 7.6　常見的迴圈神經網路單元及結構　154 7.6.1　長短記憶（LSTM）單元　15

5 7.6.2　門控迴圈單元（GRU）　157 7.6.3　只有忘記門的LSTM（JANET）單元　158 7.6.4　獨立迴圈（IndRNN）單元　158 7.6.5　雙向RNN結構　159 7.7　實例11：用迴圈神經網路訓練語言模型　160 7.7.1　什麼是語言模型　161 7.7.2　詞表與詞向量　161 7.7.3　詞向量的原理與實現　161 7.7.4　NLP中多項式分佈　162 7.7.5　迴圈神經網路的實現　163 7.7.6　實現語言模型的思路與步驟　164 7.7.7　代碼實現：準備樣本　165 7.7.8　代碼實現：構建迴圈神經網路(RNN）模型　167 7.7.9　代

碼實現：產生實體模型類，並訓練模型　168 7.7.10　代碼實現：運行模型生成句子　171 7.8　過擬合問題及優化技巧　172 7.8.1　實例12：訓練具有過擬合問題的模型　172 7.8.2　改善模型過擬合的方法　175 7.8.3　瞭解正則化　175 7.8.4　實例13：用L2正則改善模型的過擬合狀況　176 7.8.5　實例14：通過增大資料集改善模型的過擬合狀況　178 7.8.6　Dropout方法　179 7.8.7　實例15： 通過Dropout方法改善模型的過擬合狀況　180 7.8.8　全連接網路的深淺與泛化能力的聯繫　182 7.8.9　瞭解批量歸一化（BN）演算法

　182 7.8.10　實例16： 手動實現批量歸一化的計算方法　185 7.8.11　實例17： 通過批量歸一化方法改善模型的過擬合狀況　187 7.8.12　使用批量歸一化方法時的注意 事項　188 7.8.13　擴展：多種批量歸一化演算法介紹　188 7.9　神經網路中的注意力機制　189 7.9.1　注意力機制的實現　189 7.9.2　注意力機制的軟、硬模式　190 7.9.3　注意力機制模型的原理　190 7.9.4　多頭注意力機制　191 7.9.5　自注意力機制　192 7.10　實例18：利用注意力迴圈神經網路對圖片分類　192 7.10.1　迴圈神經網路處理圖片分類任務的原

理　192 7.10.2　代碼實現：搭建LSTM網路模型　193 7.10.3　代碼實現：構建注意力機制類　193 7.10.4　代碼實現：構建輸入資料並訓練模型　196 7.10.5　使用並評估模型　197 7.10.6　擴展1：使用梯度剪輯技巧優化訓練過程　197 7.10.7　擴展2：使用JANET單元完成RNN　198 7.10.8　擴展3：使用IndRNN單元實現RNN　198 第8章　無監督學習中的神經網路　199 8.1　快速瞭解資訊熵　200 8.1.1　資訊熵與概率的計算關係　200 8.1.2　聯合熵　202 8.1.3　條件熵　202 8.1.4　交叉熵　203 8.1

.5　相對熵——KL散度　203 8.1.6　JS散度　204 8.1.7　互信息　204 8.2　通用的無監督模型——自編碼神經網路與對抗神經網路　205 8.3　自編碼神經網路　206 8.3.1　自編碼神經網路的結構　206 8.3.2　自編碼神經網路的計算過程　206 8.3.3　自編碼神經網路的作用與意義　207 8.3.4　變分自編碼神經網路　207 8.3.5　條件變分自編碼神經網路　208 8.4　實例19：用變分自編碼神經網路模型生成類比資料　208 8.4.1　變分自編碼神經網路模型的結構介紹　208 8.4.2　代碼實現：引入模組並載入樣本　209 8.4.3　代碼實現：

定義變分自編碼神經網路模型的正向結構　210 8.4.4　變分自編碼神經網路模型的反向傳播與KL散度的應用　211 8.4.5　代碼實現：完成損失函數和訓練函數　212 8.4.6　代碼實現：訓練模型並輸出視覺化結果　213 8.4.7　代碼實現：提取樣本的低維特徵並進行視覺化　214 8.4.8　代碼實現：視覺化模型的輸出空間　215 8.5　實例20：用條件變分自編碼神經網路生成可控類比資料　216 8.5.1　條件變分自編碼神經網路的實現　216 8.5.2　代碼實現：定義條件變分自編碼神經網路模型的正向結構　217 8.5.3　代碼實現：訓練模型並輸出視覺化結果　218 8.6　對抗神

經網路　219 8.6.1　對抗神經網路的工作過程　219 8.6.2　對抗神經網路的作用　220 8.6.3　GAN模型難以訓練的原因　220 8.6.4　WGAN模型——解決GAN難以訓練的問題　221 8.6.5　分析WGAN的不足　222 8.6.6　WGAN-gp模型—— 容易訓練的GAN模型　223 8.6.7　條件GAN 2248.6.8 帶有W散度的GAN——WGAN-div　225 8.7　實例21：用WGAN-gp模型生成類比資料　226 8.7.1　DCGAN中的全卷積　226 8.7.2　上採樣與下採樣　227 8.7.3　實例歸一化　228 8.7.4　代碼實現：引入

模組並載入樣本　228 8.7.5　代碼實現：定義生成器與判別器　229 8.7.6　啟動函數與歸一化層的位置關係　231 8.7.7　代碼實現：定義數完成梯度懲罰項　234 8.7.8　代碼實現：定義模型的訓練函數　235 8.7.9　代碼實現：定義函數，視覺化模型結果　237 8.7.10　代碼實現：調用函數並訓練模型　237 8.7.11　練習題　238 8.8　實例22：用條件GAN生成可控類比資料　239 8.8.1　代碼實現：定義條件GAN模型的正向結構　239 8.8.2　代碼實現：調用函數並訓練模型　240 8.9　實例23：實現帶有W散度的GAN——WGAN-div模型　24

1 8.9.1　代碼實現：完成W散度的損失函數　241 8.9.2　代碼實現：定義訓練函數來訓練模型　242 8.10　散度在神經網路中的應用　243 8.10.1　f-GAN框架　243 8.10.2　基於f散度的變分散度 小化方法　243 8.10.3　用Fenchel共軛函數實現f-GAN　244 8.10.4　f-GAN中判別器的啟動函數　246 8.10.5　互資訊神經估計　247 8.10.6　實例24：用神經網路估計互資訊　249 8.10.7　穩定訓練GAN模型的經驗和技巧　252 8.11　實例25：用 化深度互資訊模型執行圖片搜索器　253 8.11.1　DIM模型的原理　

254 8.11.2　DIM模型的結構　254 8.11.3　代碼實現：載入CIFAR資料集　257 8.11.4　代碼實現：定義DIM模型　260 8.11.5　代碼實現：產生實體DIM模型並進行訓練　262 8.11.6　代碼實現：載入模型搜索圖片　264 第9章　快速瞭解圖神經網路——少量樣本也可以訓練模型　269 9.1　圖神經網路的相關基礎知識　270 9.1.1　歐氏空間與非歐氏空間　270 9.1.2　圖　270 9.1.3　圖相關的術語和度量　270 9.1.4　圖神經網路　271 9.1.5　GNN的動機　271 9.2　矩陣的基礎　272 9.2.1　轉置矩陣　272 9

.2.2　對稱矩陣及其特性　272 9.2.3　對角矩陣與單位矩陣　272 9.2.4　哈達馬積　273 9.2.5　點積　273 9.2.6　對角矩陣的特性與操作方法　273 9.2.7　度矩陣與鄰接矩陣　275 9.3　鄰接矩陣的幾種操作　275 9.3.1　獲取有向圖的短邊和長邊　276 9.3.2　將有向圖的鄰接矩陣轉成無向圖的鄰接矩陣　277 9.4　實例26：用圖卷積神經網路為論文分類　278 9.4.1　CORA資料集　278 9.4.2　代碼實現：引入基礎模組並設置運行環境　279 9.4.3　代碼實現：讀取並解析論文數據　279 9.4.4　代碼實現：讀取並解析論文關係資料　

281 9.4.5　代碼實現：加工圖結構的矩陣資料　283 9.4.6　代碼實現：將資料轉為張量，並分配運算資源　284 9.4.7　代碼實現：定義Mish啟動函數與圖卷積操作類　284 9.4.8　代碼實現：搭建多層圖卷積網路　286 9.4.9　代碼實現：用Ranger優化器訓練模型並視覺化結果　287 9.5　圖卷積神經網路　290 9.5.1　圖結構與拉普拉斯矩陣的關係　290 9.5.2　拉普拉斯矩陣的3種形式　291 9.6　擴展實例：用Multi-sample Dropout優化模型的訓練速度　291 9.6.1　Multi-sample Dropout方法　292 9.6.2　

代碼實現：為圖卷積模型添加 Multi-sample Dropout方法　292 9.6.3　代碼實現：使用帶有Multi-sample Dropout方法的圖卷積模型　293 9.7　從圖神經網路的視角看待深度學習　294 9.8　圖神經網路使用拉普拉斯矩陣的原因　295 9.8.1　節點與鄰接矩陣的點積作用　295 9.8.2　拉普拉斯矩陣的點積作用　296 9.8.3　重新審視圖卷積的擬合本質　296 9.8.4　點積計算並不是 方法　296 第10章 基於空間域的圖神經網路實現　297 10.1　重新認識圖卷積神經網路　298 10.1.1　基於譜域的圖處理　298 10.1.2　基

於頂點域的圖處理　298 10.1.3　基於頂點域的圖卷積　298 10.1.4　圖卷積的特性　299 10.2　實例27：用圖注意力神經網路為論文分類　300 10.2.1　圖注意力網路　300 10.2.2　工程部署　301 10.2.3　代碼實現：對鄰接矩陣進行對稱歸一化拉普拉斯矩陣轉化　301 10.2.4　代碼實現：搭建圖注意力神經網路層　301 10.2.5　代碼實現：搭建圖注意力模型類　302 10.2.6　代碼實現：產生實體圖注意力模型，並進行訓練與評估　303 10.2.7　常用的圖神經網路庫　304 10.3　圖神經網路常用庫——DGL庫　305 10.3.1　DGL庫的實

現與性能　305 10.3.2　安裝DGL庫的方法及注意事項　305 10.3.3　DGL庫中的資料集　306 10.3.4　DGL庫中的圖　307 10.3.5　DGL庫中的內聯函數　307 10.3.6　擴展：瞭解PyG庫　307 10.4　DGLGraph圖的基本操作　308 10.4.1　DGLGraph圖的創建與維護　308 10.4.2　查看DGLGraph圖中的度　309 10.4.3　DGLGraph圖與NetWorkx圖的相互轉化　310 10.4.4　NetWorkx庫　311 10.4.5　DGLGraph圖中頂點屬性的操作　313 10.4.6　DGLGraph圖中邊屬

性的操作　314 10.4.7　DGLGraph圖屬性操作中的注意事項　314 10.4.8　使用函數對圖的頂點和邊進行計算　315 10.4.9　使用函數對圖的頂點和邊進行過濾　315 10.4.10　DGLGraph圖的消息傳播　316 10.4.11　DGL庫中的多圖處理　317 10.5　實例28：用帶有殘差結構的多層GAT模型實現論文分類　318 10.5.1　代碼實現：使用DGL資料集載入CORA樣本　319 10.5.2　用鄰居聚合策略實現GATConv　321 10.5.3　代碼實現：用DGL庫中的GATConv搭建多層GAT模型　323 10.5.4　代碼實現：使用早停方式訓

練模型並輸出評估結果　324 10.6　圖卷積模型的缺陷　327 10.6.1　全連接網路的特徵與缺陷　327 10.6.2　圖卷積模型的缺陷　328 10.6.3　彌補圖卷積模型缺陷的方法　328 10.6.4　從圖結構角度理解圖卷積原理及缺陷　328 10.7　實例29：用簡化圖卷積模型實現論文分類　329 10.7.1　SGC的網路結構　330 10.7.2　DGL庫中SGC模型的實現方式　331 10.7.3　代碼實現：搭建SGC模型並進行訓練　333 10.7.4　擴展： SGC模型的不足　334 10.8　實例30：用圖濾波神經網路模型實現論文分類　334 10.8.1　GfNN的

結構　334 10.8.2　代碼實現：搭建GfNN模型並進行訓練　335 10.9　實例31：用深度圖互資訊模型實現論文分類　337 10.9.1　DGI模型的原理與READOUT函數　337 10.9.2　代碼實現：搭建多層SGC網路　338 10.9.3　代碼實現：搭建編碼器和判別器　339 10.9.4　代碼實現：搭建DGI模型並進行訓練　340 10.9.5　代碼實現：利用DGI模型提取特徵並進行分類　342 10.10　實例32：用圖同構網路模型實現論文分類　344 10.10.1　多重集與單射　344 10.10.2　GIN模型的原理與實現　344 10.10.3　代碼實現：搭建多

層GIN模型並進行訓練　346 10.11　實例33：用APPNP模型實現論文分類　347 10.11.1　APPNP模型的原理與實現　347 10.11.2　代碼實現：搭建APPNP模型並進行訓練　349 10.12　實例34：用JKNet模型實現論文分類　351 10.12.1　JKNet模型結構　351 10.12.2　代碼實現：修改圖資料的預處理部分　352 10.12.3　代碼實現：搭建JKNet模型並進行訓練　352 10.13　總結　355

機器學習算法競賽實戰

為了解決記憶體封裝技術的問題，作者王賀劉鵬錢乾 這樣論述：

本書是算法競賽領域一本系統介紹競賽的圖書，書中不僅包含競賽的基本理論知識，還結合多個方向和案例詳細闡述了競賽中的上分思路和技巧。   全書分為五部分：第一部分以算法競賽的通用流程為主，介紹競賽中各個部分的核心內容和具體工作；第二部分介紹了使用者畫像相關的問題；第三部分以時間序列預測問題為主，先講述這類問題的常見解題思路和技巧，然後分析天池平臺的全球城市計算AI 挑戰賽和Kaggle平臺的Corporación Favorita Grocery Sales Forecasting；第四部分主要介紹計算廣告的核心技術和業務，包括廣告召回、廣告排序和廣告競價，其中兩個實戰案例是2018騰訊廣告算法大

賽——相似人群拓展和Kaggle平臺的TalkingData AdTracking Fraud Detection Challenge；第五部分基於自然語言處理相關的內容進行講解，其中實戰案例是Kaggle 平臺上的經典競賽Quora Question Pairs。 本書適合從事機器學習、數據挖掘和人工智能相關算法崗位的人閱讀。 王賀（魚遇雨欲語與餘） 畢業于武漢大學電腦學院，碩士學位，研究方向為圖資料採擷，現任職於小米商業演算法部，從事應用商店廣告推薦的研究和開發。是2019年和2020年騰訊廣告演算法大賽的冠軍，從2018年至2020年多次參加國內外演算法競賽，共獲得五

次冠軍和五次亞軍。 劉鵬 2016年本科畢業于武漢大學數學基地班，保研至中國科學技術大學自動化系，碩士期間研究方向為複雜網路與機器學習，2018年起多次獲得機器學習相關競賽獎項，2019年至今就職于華為技術有限公司，任演算法工程師。 錢乾 本科就讀於美國佐治亞理工大學，研究方向包括機器學習、深度學習、自然語言處理等，現就職于數程科技，工作方向為物流領域的智慧演算法應用，任大資料技術負責人。 第 1 章　初見競賽 1 1．1　競賽平臺 2 1．1．1　Kaggle 2 1．1．2　天池 6 1．1．3　DF 7 1．1．4　DC 7 1．1．5　Kesci 7 1．1．6　

JDATA 8 1．1．7　企業網站 8 1．2　競賽流程 8 1．2．1　問題建模 8 1．2．2　資料探索 9 1．2．3　特徵工程 9 1．2．4　模型訓練 9 1．2．5　模型融合 10 1．3　競賽類型 10 1．3．1　資料類型 10 1．3．2　任務類型 11 1．3．3　應用場景 11 1．4　思考練習 11 第 2 章　問題建模 12 2．1　賽題理解 12 2．1．1　業務背景 12 2．1．2　資料理解　 14 2．1．3　評價指標 14 2．2　樣本選擇 20 2．2．1　主要原因 20 2．2．2　準確方法 22 2．2．3　應用場景 23 2．3　線下評估策略 2

4 2．3．1　強時序性問題 24 2．3．2　弱時序性問題 24 2．4　實戰案例 25 2．4．1　賽題理解 26 2．4．2　線下驗證 27 2．5　思考練習 28 第 3 章　資料探索 29 3．1　數據初探 29 3．1．1　分析思路 29 3．1．2　分析方法 30 3．1．3　明確目的 30 3．2　變數分析 32 3．2．1　單變數分析 33 3．2．2　多變數分析 37 3．3　模型分析 39 3．3．1　學習曲線 39 3．3．2　特徵重要性分析 40 3．3．3　誤差分析 41 3．4　思考練習 42 第 4 章　特徵工程 43 4．1　數據預處理 43 4．1．1　

缺失值處理 44 4．1．2　異常值處理 45 4．1．3　優化記憶體 46 4．2　特徵變換 47 4．2．1　連續變數無量綱化 47 4．2．2　連續變數資料變換 48 4．2．3　類別特徵轉換 50 4．2．4　不規則特徵變換 50 4．3　特徵提取 51 4．3．1　類別相關的統計特徵 51 4．3．2　數值相關的統計特徵 53 4．3．3　時間特徵 53 4．3．4　多值特徵 54 4．3．5　小結 55 4．4　特徵選擇 55 4．4．1　特徵關聯性分析 55 4．4．2　特徵重要性分析 57 4．4．3　封裝方法 57 4．4．4　小結 58 4．5　實戰案例 59 4．5．1　

數據預處理　 59 4．5．2　特徵提取 60 4．5．3　特徵選擇 61 4．6　練習 62 第 5 章　模型選擇 63 5．1　線性模型 63 5．1．1　Lasso 回歸 63 5．1．2　Ridge 回歸 64 5．2　樹模型 64 5．2．1　隨機森林 65 5．2．2　梯度提升樹 66 5．2．3　XGBoost 67 5．2．4　LightGBM 68 5．2．5　CatBoost 69 5．2．6　模型深入對比 70 5．3　神經網路 73 5．3．1　多層感知機 74 5．3．2　卷積神經網路 75 5．3．3　迴圈神經網路 77 5．4　實戰案例 79 5．5　練習 80

第 6 章　模型融合 81 6．1　構建多樣性 81 6．1．1　特徵多樣性 81 6．1．2　樣本多樣性 82 6．1．3　模型多樣性 82 6．2　訓練過程融合 83 6．2．1　Bagging 83 6．2．2　Boosting 83 6．3　訓練結果融合 84 6．3．1　加權法 84 6．3．2　Stacking 融合 86 6．3．3　Blending 融合 87 6．4　實戰案例 88 6．5　練習 90 第 7 章　用戶畫像 91 7．1　什麼是用戶畫像 92 7．2　標籤系統 92 7．2．1　標籤分類方式 92 7．2．2　多管道獲取標籤 93 7．2．3　標籤體系框

架 94 7．3　使用者畫像資料特徵 95 7．3．1　常見的資料形式 95 7．3．2　文本挖掘演算法 97 7．3．3　神奇的嵌入表示 98 7．3．4　相似度計算方法 101 7．4　用戶畫像的應用　 103 7．4．1　用戶分析　 103 7．4．2　精准行銷 104 7．4．3　風控領域 105 7．5　思考練習 106 第 8 章　實戰案例：Elo Merchant Category Recommendation（Kaggle） 107 8．1　賽題理解 107 8．1．1　賽題背景 107 8．1．2　賽題數據 108 8．1．3　賽題任務 108 8．1．4　評價指標 109

8．1．5　賽題FAQ 109 8．2　探索性分析 109 8．2．1　欄位類別含義 110 8．2．2　欄位取值狀況 111 8．2．3　資料分佈差異 112 8．2．4　表格關聯關係 115 8．2．5　數據預處理 115 8．3　特徵工程 116 8．3．1　通用特徵 116 8．3．2　業務特徵 117 8．3．3　文本特徵 118 8．3．4　特徵選擇 119 8．4　模型訓練 119 8．4．1　隨機森林 119 8．4．2　LightGBM 121 8．4．3　XGBoost 124 8．5　模型融合 127 8．5．1　加權融合 127 8．5．2　Stacking 融合 1

27 8．6　高效提分 128 8．6．1　特徵優化 128 8．6．2　融合技巧 130 8．7　賽題總結 134 8．7．1　更多方案 134 8．7．2　知識點梳理 135 8．7．3　延伸學習 135 第 9 章　時間序列分析 138 9．1　介紹時間序列分析 138 9．1．1　簡單定義 138 9．1．2　常見問題 139 9．1．3　交叉驗證 140 9．1．4　基本規則方法 141 9．2　時間序列模式 142 9．2．1　趨勢性 142 9．2．2　週期性 143 9．2．3　相關性 144 9．2．4　隨機性 144 9．3　特徵提取方式 144 9．3．1 歷史平移 1

45 9．3．2　窗口統計 145 9．3．3　序列熵特徵 145 9．3．4　其他特徵 146 9．4　模型的多樣性 146 9．4．1　傳統的時序模型 147 9．4．2　樹模型 147 9．4．3　深度學習模型 148 9．5　練習 150 第 10 章　實戰案例：全球城市計算AI挑戰賽 151 10．1　賽題理解 151 10．1．1　背景介紹 152 10．1．2　賽題數據 152 10．1．3　評價指標 153 10．1．4　賽題FAQ 153 10．1．5　baseline 方案 153 10．2　探索性資料分析 157 10．2．1　數據初探 157 10．2．2　模式分析

159 10．3　特徵工程 162 10．3．1　數據預處理 162 10．3．2　強相關性特徵 163 10．3．3　趨勢性特徵 165 10．3．4　網站相關特徵 165 10．3．5　特徵強化 166 10．4　模型選擇 166 10．4．1　LightGBM 模型 167 10．4．2　時序模型 168 10．5　強化學習 170 10．5．1　時序stacking 170 10．5．2　Top 方案解析 171 10．5．3　相關賽題推薦　 172 第 11 章　實戰案例-Corporación Favorita Grocery Sales Forecasting 174 11．1

　賽題理解 174 11．1．1　背景介紹 174 11．1．2　賽題數據 175 11．1．3　評價指標 175 11．1．4　賽題FAQ 176 11．1．5　baseline 方案 176 11．2　探索性資料分析 181 11．2．1 數據初探 181 11．2．2　單變數分析 184 11．2．3　多變數分析 188 11．3　特徵工程 190 11．3．1　歷史平移特徵 191 11．3．2　視窗統計特徵 192 11．3．3　構造細微性多樣性 193 11．3．4　高效特徵選擇 194 11．4　模型選擇 195 11．4．1　LightGBM 模型 196 11．4．2　LST

M 模型 196 11．4．3　Wavenet 模型 198 11．4．4　模型融合 199 11．5　賽題總結 200 11．5．1　更多方案 200 11．5．2　知識點梳理 201 11．5．2　延伸學習 202 第 12 章　計算廣告 204 12．1　什麼是計算廣告 204 12．1．1　主要問題 205 12．1．2　計算廣告系統架構 205 12．2　廣告類型 207 12．2．1　合約廣告 207 12．2．2　競價廣告 207 12．2．3　程式化交易廣告 208 12．3　廣告召回 208 12．3．1　廣告召回模組 208 12．3．2　DSSM 語義召回 210 12

．4　廣告排序 211 12．4．1　點擊率預估 211 12．4．2　特徵處理 212 12．4．3　常見模型 214 12．5　廣告競價 219 12．6　小結 221 12．7　思考練習 221 第 13 章　實戰案例：2018 騰訊廣告演算法大賽——相似人群拓展 222 13．1　賽題理解 222 13．1．1　賽題背景 223 13．1．2　賽題數據 224 13．1．3　賽題任務 226 13．1．4　評價指標 226 13．1．5　賽題FAQ 227 13．2　探索性資料分析 227 13．2．1　競賽的公開資料集 227 13．2．2　訓練集與測試集 227 13．2．3　廣

告屬性 229 13．2．4　使用者資訊 229 13．2．5　資料集特徵拼接 230 13．2．6　基本建模思路 232 13．3　特徵工程 232 13．3．1　經典特徵 232 13．3．2　業務特徵 234 13．3．3　文本特徵 235 13．3．4　特徵降維 237 13．3．5　特徵存儲 238 13．4　模型訓練 238 13．4．1　LightGBM 238 13．4．2　CatBoost　 238 13．4．3　XGBoost 239 13．5　模型融合 239 13．5．1　加權融合 239 13．5．2　Stacking 融合 239 13．6　賽題總結 240 13．

6．1　更多方案 240 13．6．2　知識點梳理 241 13．6．3　延伸學習 241 第 14 章　實戰案例-TalkingData AdTracking Fraud DetectionChallenge 243 14．1　賽題理解 243 14．1．1　背景介紹 243 14．1．2　賽題數據 244 14．1．3　評價指標 244 14．1．4　賽題FAQ 244 14．1．5　baseline 方案 245 14．2　探索性資料分析 247 14．2．1 數據初探 247 14．2．2　單變數分析 249 14．2．3　多變數分析 254 14．2．4　資料分佈 255 14．3

　特徵工程 256 14．3．1　統計特徵 256 14．3．2　時間差特徵 257 14．3．3　排序特徵 258 14．3．4　目標編碼特徵 258 14．4　模型選擇 259 14．4．1　LR 模型 259 14．4．2　CatBoost 模型 259 14．4．3　LightGBM 模型 260 14．4．4　DeepFM 模型 261 14．5　賽題總結 264 14．5．1　更多方案 264 14．5．2　知識點梳理 265 14．5．3　延伸學習 266 第 15 章　自然語言處理 268 15．1　自然語言處理的發展歷程 268 15．2　自然語言處理的常見場景 269 1

5．2．1　分類、回歸任務 269 15．2．2　資訊檢索、文本匹配等任務 269 15．2．3　序列對序列、序列標注 269 15．2．4　機器閱讀 270 15．3　自然語言處理的常見技術 270 15．3．1　基於詞袋模型、TF-IDF．的特徵提取 270 15．3．2　N-Gram 模型 271 15．3．3　詞嵌入模型 271 15．3．5　上下文相關預訓練模型 272 15．3．6　常用的深度學習模型結構 274 15．4　練習 276 第 16 章　實戰案例：Quora QuestionPairs 277 16．1　賽題理解 277 16．1．1　賽題背景 277 16．1．2

　賽題數據 278 16．1．3　賽題任務 278 16．1．4　評價指標 278 16．1．5　賽題FAQ 278 16．2　探索性資料分析 279 16．2．1　欄位類別含義 279 16．2．2　資料集基本量 279 16．2．3　文本的分佈 280 16．2．4　詞的數量與詞雲分析 282 16．2．5　基於傳統手段的文本資料預處理 284 16．2．6　基於深度學習模型的文本資料預處理 284 16．3　特徵工程 285 16．3．1　通用文本特徵 285 16．3．2　相似度特徵 287 16．3．3　詞向量的進一步應用——獨有詞匹配 290 16．3．4　詞向量的進一步應用——詞

與詞的兩兩匹配 290 16．3．5　其他相似度計算方式 291 16．4　機器學習模型和模型的訓練 291 16．4．1　TextCNN 模型 291 16．4．2　TextLSTM 模型 292 16．4．3　TextLSTM with Attention 模型 293 16．4．4　Self-Attention 層 295 16．4．5　Transformer 和BERT 類模型 296 16．4．6　基於 representation 和基於 interaction 的深度學習模型的差異 298 16．4．7　一種特殊的基於 interaction 的深度學習模型 303 16．4．8

　深度學習文本資料的翻譯增強 303 16．4．9　深度學習文本資料的預處理 304 16．4．10　BERT 模型的訓練 306 16．5　模型融合 310 16．6　賽題總結 310 16．6．1　更多方案 310 16．6．2　知識點梳理 310 16．6．3　延伸學習 311

台灣記憶體封裝業之技術創新與供應鏈關係之探討

為了解決記憶體封裝技術的問題，作者張家彰 這樣論述：

目前全球前十大的封裝測試廠，將近有一半都是台灣廠商，台灣已然成為全世界封裝測試服務與製造大國。隨著超大型積體電路的演進與發展，IC封裝技術已先後經歷過兩次大的高密度封裝技術變革，在邁入21世紀之際，正蘊釀著第三次重大技術變革，也就是從單晶片的封裝型式發展到多晶片的封裝（MCP, Multiple Chip Package）型式。本研究將從記憶體封裝產業技術創新發展與變革，分析多晶片封裝相關產品的技術創新的性質與類別，建構出創新地圖；另ㄧ方面藉由兩個案例公司，探討在不同的經營模式和供應鏈策略聯盟的模式下，所需不同的技術創新策略。經由記憶體封裝產品發展軌跡與案例公司分析的結果顯示，就技術創新性質

構面來看記憶體封裝多屬於產品創新和製程創新，而就技術創新類別構面而言多屬於獨特性和漸進式。不同記憶體供應鏈中的策略聯盟型式，將關係著技術創新策略的擬訂，以案例A(專屬型)而言，可透過與顧客股權式策略聯盟的優勢，在技術創新層面以滿足顧客需求為主要目的，其次再拓展新的客戶與產品領域；案例B(綜合型)則可以透過綜合型封裝代工的研發經驗與生產經驗，採多元化的產品開發與技術創新，提升競爭力與客戶滿意。本研究在最後章節進ㄧ步分析多晶片封裝市場的需求特性，探討台灣封裝代工廠如何運用半導體產業分工的優勢，從技術創新、封裝代工產業的供應鏈關係等層面，提升記憶體多晶片封裝的市場競爭力。