python迴圈累加的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列懶人包和總整理

Spark機器學習（第2版）

為了解決python迴圈累加的問題，作者（印）拉結帝普·杜瓦 這樣論述：

本書結合案例研究講解Spark 在機器學習中的應用，並介紹如何從各種公開管道獲取用於機器學習系統的資料。內容涵蓋推薦系統、回歸、聚類、降維等經典機器學習演算法及其實際應用。第2版新增了有關機器學習數學基礎以及Spark ML Pipeline API 的章節，內容更加系統、全面、與時俱進。 拉結帝普·杜瓦（Rajdeep Dua） Salesforce公司工程主管，致力於打造雲計算和人工智慧團隊。曾參與Google的大資料分析工具BigQuery的宣傳團隊。在雲計算、大資料分析和機器學習領域有近20年的經驗。 第1章 Spark的環境搭建與運行 1 1

.1　Spark的本地安裝與配置　2 1.2　Spark集群　3 1.3　Spark程式設計模型　4 1.3.1　SparkContext類與SparkConf類　4 1.3.2　SparkSession　5 1.3.3　Spark shell　6 1.3.4　彈性分散式資料集　8 1.3.5　廣播變數和累加器　12 1.4　SchemaRDD　13 1.5　Spark data frame　13 1.6　Spark Scala程式設計入門　14 1.7　Spark Java程式設計入門　17 1.8　Spark Python程式設計入門　19 1.9　Spark R程式設計入門　21 1.1

0　在Amazon EC2上運行Spark　23 1.11　在Amazon Elastic Map Reduce上配置並運行Spark　28 1.12　Spark使用者介面　31 1.13　Spark所支援的機器學習演算法　32 1.14　Spark ML的優勢　36 1.15　在Google Compute Engine上用Dataproc構建Spark集群　38 1.15.1　Hadoop和Spark版本　38 1.15.2　創建集群　38 1.15.3　提交任務　41 1.16　小結　43 第2章 機器學習的數學基礎　44 2.1　線性代數　45 2.1.1　配置IntelliJ Sc

ala環境　45 2.1.2　配置命令列Scala環境　47 2.1.3　域　48 2.1.4　矩陣　54 2.1.5　函數　64 2.2　梯度下降　68 2.3　先驗概率、似然和後驗概率　69 2.4　微積分　69 2.4.1　可微微分　69 2.4.2　積分　70 2.4.3　拉格朗日乘子　70 2.5　視覺化　71 2.6　小結　72 第3章　機器學習系統設計　73 3.1　機器學習是什麼　73 3.2　MovieStream介紹　74 3.3　機器學習系統商業用例　75 3.3.1　個性化　75 3.3.2　目標行銷和客戶細分　76 3.3.3　預測建模與分析　76 3.4　機器學習

模型的種類　76 3.5　資料驅動的機器學習系統的組成　77 3.5.1　資料獲取與存儲　77 3.5.2　資料清理與轉換　78 3.5.3　模型訓練與測試迴圈　79 3.5.4　模型部署與整合　79 3.5.5　模型監控與回饋　80 3.5.6　批次處理或即時方案的選擇　80 3.5.7　Spark資料管道　81 3.6　機器學習系統架構　82 3.7　Spark MLlib　83 3.8　Spark ML的性能提升　83 3.9　MLlib支援演算法的比較　85 3.9.1　分類　85 3.9.2　聚類　85 3.9.3　回歸　85 3.10　MLlib支援的函數和開發者API　86 3.

11　MLlib願景　87 3.12　MLlib版本的變遷　87 3.13　小結　88 第4章　Spark上資料的獲取、處理與準備　89 4.1　獲取公開資料集　90 4.2　探索與視覺化資料　92 4.2.1　探索使用者資料　94 4.2.2　探索電影資料　102 4.2.3　探索評級資料　104 4.3　資料的處理與轉換　109 4.4　從資料中提取有用特徵　112 4.4.1　數值特徵　112 4.4.2　類別特徵　113 4.4.3　派生特徵　114 4.4.4　文本特徵　116 4.4.5　正則化特徵　121 4.4.6　用套裝軟體提取特徵　123 4.5　小結　126 第5章　

Spark 構建推薦引擎　127 5.1　推薦模型的分類　128 5.1.1　基於內容的過濾　128 5.1.2　協同過濾　128 5.1.3　矩陣分解　130 5.2　提取有效特徵　139 5.3　訓練推薦模型　140 5.3.1　使用MovieLens 100k資料集訓練模型　141 5.3.2　使用隱式回饋資料訓練模型　143 5.4　使用推薦模型　143 5.4.1　ALS模型推薦　144 5.4.2　用戶推薦　145 5.4.3　物品推薦　148 5.5　推薦模型效果的評估　152 5.5.1　ALS模型評估　152 5.5.2　均方差　154 5.5.3　K值平均準確率　156 5

.5.4　使用MLlib內置的評估函數　159 5.6　FP-Growth演算法　161 5.6.1　FP-Growth的基本例子　161 5.6.2　FP-Growth在MovieLens資料集上的實踐　163 5.7　小結　164 第6章　Spark構建分類模型　165 6.1　分類模型的種類　167 6.1.1　線性模型　167 6.1.2　樸素貝葉斯模型　177 6.1.3　決策樹　180 6.1.4　樹集成模型　183 6.2　從資料中抽取合適的特徵　188 6.3　訓練分類模型　189 6.4　使用分類模型　190 6.4.1　在Kaggle/StumbleUpon evergr

een資料集上進行預測　191 6.4.2　評估分類模型的性能　191 6.4.3　預測的正確率和錯誤率　191 6.4.4　準確率和召回率　193 6.4.5　ROC曲線和AUC　194 6.5　改進模型性能以及參數調優　196 6.5.1　特徵標準化　197 6.5.2　其他特徵　199 6.5.3　使用正確的資料格式　202 6.5.4　模型參數調優　203 6.6　小結　211 第7章　Spark構建回歸模型　212 7.1　回歸模型的種類　212 7.1.1　最小二乘回歸　213 7.1.2　決策樹回歸　214 7.2　評估回歸模型的性能　215 7.2.1　均方誤差和均方根誤差　

215 7.2.2　平均絕對誤差　215 7.2.3　均方根對數誤差　216 7.2.4　R-平方係數　216 7.3　從資料中抽取合適的特徵　216 7.4　回歸模型的訓練和應用　220 7.4.1　BikeSharingExecutor　220 7.4.2　在bike sharing資料集上訓練回歸模型　221 7.4.3　決策樹集成　229 7.5　改進模型性能和參數調優　235 7.5.1　變換目標變數　235 7.5.2　模型參數調優　242 7.6　小結　256 第8章　Spark構建聚類模型　257 8.1　聚類模型的類型　258 8.1.1　K-均值聚類　258 8.1.2　

混合模型　262 8.1.3　層次聚類　262 8.2　從資料中提取正確的特徵　262 8.3　K-均值訓練聚類模型　265 8.3.1　訓練K-均值聚類模型　266 8.3.2　用聚類模型來預測　267 8.3.3　解讀預測結果　267 8.4　評估聚類模型的性能　271 8.4.1　內部評估指標　271 8.4.2　外部評估指標　272 8.4.3　在MovieLens資料集上計算性能指標　272 8.4.4　反覆運算次數對WSSSE的影響　272 8.5　二分K-均值　275 8.5.1　二分K-均值——訓練一個聚類模型　276 8.5.2　WSSSE和反覆運算次數　280 8.6　高斯

混合模型　283 8.6.1　GMM聚類分析　283 8.6.2　視覺化GMM類簇分佈　285 8.6.3　反覆運算次數對類簇邊界的影響　286 8.7　小結　287 第9章　Spark應用於資料降維　288 9.1　降維方法的種類　289 9.1.1　主成分分析　289 9.1.2　奇異值分解　289 9.1.3　和矩陣分解的關係　290 9.1.4　聚類作為降維的方法　290 9.2　從資料中抽取合適的特徵　291 9.3　訓練降維模型　299 9.4　使用降維模型　302 9.4.1　在LFW資料集上使用PCA投影資料　302 9.4.2　PCA和SVD模型的關係　303 9.5　評價

降維模型　304 9.6　小結　307 第10章 Spark高級文本處理技術　308 10.1　文本資料處理的特別之處　308 10.2　從資料中抽取合適的特徵　309 10.2.1　詞加權表示　309 10.2.2　特徵散列　310 10.2.3　從20 Newsgroups資料集中提取TF-IDF特徵　311 10.3　使用TF-IDF 模型　324 10.3.1　20 Newsgroups資料集的文本相似度和TF-IDF特徵　324 10.3.2　基於20 Newsgroups資料集使用TF-IDF訓練文本分類器　326 10.4　評估文本處理技術的作用　328 10.5　Spark

2.0上的文本分類　329 10.6　Word2Vec模型　331 10.6.1　借助Spark MLlib訓練Word2Vec模型　331 10.6.2　借助Spark ML訓練Word2Vec模型　332 10.7　小結　334 第11章 Spark Streaming即時機器學習　335 11.1　線上學習　335 11.2　流處理　336 11.2.1　Spark Streaming介紹　337 11.2.2　Spark Streaming緩存和容錯機制　339 11.3　創建Spark Streaming應用　340 11.3.1　消息生成器　341 11.3.2　創建簡單的流處理

常式　343 11.3.3　流式分析　346 11.3.4　有狀態的流計算　348 11.4　使用Spark Streaming進行線上學習　349 11.4.1　流回歸　350 11.4.2　一個簡單的流回歸程式　350 11.4.3　流式K-均值　354 11.5　線上模型評估　355 11.6　結構化流　358 11.7　小結　359 第12章 Spark ML Pipeline API　360 12.1　Pipeline簡介　360 12.1.1　DataFrame　360 12.1.2　Pipeline組件　360 12.1.3　轉換器　361 12.1.4　評估器　361 12.

2　Pipeline工作原理　363 12.3　Pipeline機器學習示例　367 12.4　小結　375