攝圖網的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列懶人包和總整理

從零開始學Scrapy網路爬蟲（視頻教學版）

為了解決攝圖網的問題，作者張濤 這樣論述：

本書從零開始，循序漸進地介紹了目前最流行的網路爬蟲框架Scrapy。本書共13章。其中第1~4章為基礎篇，介紹了Python基礎、網路爬蟲基礎、Scrapy框架及基本的爬蟲功能。第5~10章為進階篇，介紹了如何將爬蟲數據存儲於MySQL、MongoDB和Redis數據庫中；如何實現非同步的Ajax數據的爬取；如何使用Selenium和Splash實現動態網站的爬取；如何實現模擬登錄功能；如何突破反爬蟲技術，以及如何實現檔和圖片的下載。第11~13章為高級篇，介紹了使用Scrapy-Redis實現分散式爬蟲；使用Scrapyd和Docker部署分散式爬蟲；使用Gerapy管理分散式爬蟲，並實現了

一個搶票軟體的綜合專案。 本書適合爬蟲初學者、爬蟲愛好者及高校相關學生，也適合數據爬蟲工程師作為參考讀物，同時也適合各大院校和培訓機構作為教材使用。 張濤 畢業于中國科學技術大學，獲碩士學位。目前在科大訊飛從事人工智慧教育培訓與研究。加入科大訊飛之前，曾經在知名日資企業任職研發經理，負責日本大型證券系統的設計與開發。有7年大學課程改革與教學經驗，主要研究方向為Python網路爬蟲、資料分析和機器學習。 第1篇  基礎篇 第1章  Python基礎 2 1.1  Python簡介 2 1.1.1  Python簡史 2 1.1.2  搭建Python環

境 3 1.1.3  安裝PyCharm整合式開發環境 6 1.2  Python基本語法 7 1.2.1  基底資料型別和運算 7 1.2.2  運算子和運算式 8 1.2.3  條件判斷語句 9 1.2.4  迴圈語句 10 1.2.5  字串 12 1.3  Python內置資料結構 14 1.3.1  列表 15 1.3.2  字典 16 1.3.3  元組 17 1.3.4  遍歷物件集合 17 1.4  Python模組化設計 18 1.4.1  函數 18 1.4.2  反覆運算器（iterator） 20 1.4.3  生成器（Generator） 20 1.4.4  類和對象

22 1.4.5  文件與異常 23 1.5  本章小結 25 第2章  網路爬蟲基礎 26 2.1  HTTP基本原理 26 2.1.1  URL介紹 27 2.1.2  HTTP和HTTPS協議 27 2.1.3  HTTP請求（Request） 27 2.1.4  HTTP回應（Response） 30 2.2  網頁基礎 32 2.2.1  HTML文檔 33 2.2.2  網頁的結構 33 2.2.3  節點樹及節點之間的關係 34 2.3  使用XPath提取網頁資訊 36 2.3.1  XPath介紹 36 2.3.2  XPath常用路徑運算式 36 2.3.3  XPath

帶謂語的路徑運算式 39 2.4  本章小結 40 第3章  Scrapy框架介紹 41 3.1  網路爬蟲原理 41 3.1.1  爬蟲執行的流程 41 3.2  Scrapy框架結構及執行流程 42 3.2.1  Scrapy框架結構 42 3.2.2  Scrapy執行流程 44 3.3  Scrapy安裝 44 3.3.1  使用pip安裝Scrapy 44 3.3.2  常見安裝錯誤 45 3.3.3  驗證安裝 46 3.4  第一個網路爬蟲 46 3.4.1  需求分析 46 3.4.2  創建項目 47 3.4.3  分析頁面 48 3.4.4  實現Spider爬蟲功能 49

3.4.5  運行爬蟲 50 3.4.6  常見問題 51 3.5  本章小結 52 第4章  Scrapy網路爬蟲基礎 53 4.1  使用Spider提取資料 53 4.1.1  Spider組件介紹 53 4.1.2  重寫start_requests()方法 55 4.1.3  Request對象 57 4.1.4  使用選擇器提取資料 58 4.1.5  Response對象與XPath 59 4.1.6  Response對象與CSS 61 4.1.7  進一步瞭解Response物件 62 4.1.8  多頁數據的爬取 63 4.2  使用Item封裝資料 64 4.2.1  

定義Item和Field 65 4.2.2  使用ItemLoader填充容器 66 4.3  使用Pipeline處理資料 69 4.3.1  Item Pipeline介紹 70 4.3.2  編寫自己的Item Pipeline 70 4.3.3  啟用Item Pipeline 71 4.3.4  多個Item Pipeline 71 4.3.5  保存為其他類型文件 72 4.4  項目案例：爬取鏈家網二手房信息 75 4.4.1  專案需求 75 4.4.2  技術分析 76 4.4.3  代碼實現及解析 77 4.5  本章小結 85 第2篇  進階篇 第5章  資料庫存儲 8

8 5.1  MySQL資料庫 88 5.1.1  關係型數據庫概述 88 5.1.2  下載和安裝MySQL資料庫 88 5.1.3  資料庫管理工具Navicat 92 5.1.4  Python訪問MySQL資料庫 94 5.1.5  項目案例 97 5.2  MongoDB資料庫 100 5.2.1  NoSQL概述 100 5.2.2  MongoDB介紹 100 5.2.3  MongoDB的下載和安裝 101 5.2.4  Python訪問MongoDB資料庫 102 5.2.5  項目案例 108 5.3  Redis資料庫 111 5.3.1  Redis的下載和安裝 111

5.3.2  Python訪問Redis 113 5.3.3  項目案例 118 5.4  本章小結 121 第6章  JavaScript與AJAX數據爬取 122 6.1  JavaScript簡介 122 6.2  項目案例：爬取QQ音樂榜單歌曲 122 6.2.1  專案需求 122 6.2.2  技術分析 123 6.2.3  代碼實現及解析 126 6.2.4  更常見的動態網頁 128 6.3  AJAX簡介 129 6.4  項目案例：爬取豆瓣電影資訊 130 6.4.1  專案需求 130 6.4.2  技術分析 130 6.4.3  代碼實現及解析 133 6.5  本章

小結 135 第7章  動態渲染頁面的爬取 136 7.1  Selenium實現動態頁面爬取 136 7.1.1  Selenium安裝 136 7.1.2  Selenium簡單實現 137 7.1.3  Selenium語法 138 7.2  項目案例：爬取今日頭條熱點新聞 145 7.2.1  專案需求 145 7.2.2  技術分析 145 7.2.3  代碼實現及解析 147 7.3  Splash實現動態頁面爬取 151 7.3.1  Splash介紹 151 7.3.2  Splash環境搭建 152 7.3.3  Splash模組介紹 156 7.4  項目案例：爬取一號店中

的iPhone手機資訊 162 7.4.1  專案需求 162 7.4.2  技術分析 163 7.4.3  代碼實現及解析 165 7.5  本章小結 168 第8章  模擬登錄 169 8.1  模擬登錄解析 169 8.1.1  登錄過程解析 169 8.1.2  模擬登錄的實現 171 8.2  驗證碼識別 174 8.2.1  使用OCR識別驗證碼 174 8.2.2  處理複雜驗證碼 176 8.2.3  五花八門的驗證碼 177 8.3  Cookie自動登錄 177 8.3.1  Cookie介紹 178 8.3.2  獲取Cookie的庫—browsercookie 179

8.4  項目案例：爬取起點中文網某使用者的書架資訊 180 8.4.1  專案需求 180 8.4.2  技術分析 180 8.4.3  代碼實現及解析 182 8.5  本章小結 184 第9章  突破反爬蟲技術 185 9.1  反爬蟲技術及突破措施 185 9.2  偽裝成不同的流覽器 187 9.2.1  UserAgentMiddleware中介軟體介紹 187 9.2.2  實現偽裝成隨機流覽器 188 9.2.3  更簡單的方法 191 9.3  使用HTTP代理伺服器 192 9.3.1  HTTP代理伺服器 192 9.3.2  獲取免費代理 193 9.3.3  實現隨機

代理 199 9.4  本章小結 202 第10章  檔和圖片下載 203 10.1  文件下載 203 10.1.1  FilesPipeline執行流程 203 10.2  項目案例：爬取seaborn案例原始檔案 204 10.2.1  專案需求 204 10.2.2  技術分析 206 10.2.3  代碼實現及解析 206 10.2.4  更多功能 211 10.3  圖片下載 212 10.4  項目案例：爬取攝圖網圖片 213 10.4.1  專案需求 213 10.4.2  技術分析 215 10.4.3  代碼實現及解析 215 10.5  本章小結 221 第3篇  高級

篇 第11章  Scrapy-Redis實現分散式爬蟲 224 11.1  分散式爬蟲原理 224 11.2  Scrapy-Redis實現分散式爬蟲分析 225 11.2.1  實現分散式爬蟲思路 225 11.2.2  Scrapy-Redis代碼解析 226 11.2.3  分散式爬蟲功能配置 231 11.3  項目案例：分散式爬蟲爬取攝圖網圖片 233 11.3.1  技術分析 233 11.3.2  代碼實現及解析 234 11.4  本章小結 237 第12章  Scrapyd部署分散式爬蟲 238 12.1  使用Scrapyd部署分散式爬蟲 238 12.1.1  Scrap

yd的安裝及運行 238 12.1.2  Scrapyd功能介紹 241 12.2  使用Scrapyd-Client批量部署 244 12.3  使用Docker部署分散式爬蟲 248 12.4  使用Gerapy管理分散式爬蟲 253 12.5  本章小結 258 第13章  綜合專案：搶票軟體的實現 259 13.1  專案需求 259 13.2  技術分析 262 13.3  項目實現及解析 263 13.3.1  搭建Scrapy項目框架 263 13.3.2  實現獲取網站資訊的爬蟲 264 13.3.3  實現網站處理類 266 13.3.4  實現購票類 267 13.3.5

 實現購票功能 280 13.3.6  運行項目 282 13.3.7  優化項目 282 13.4  本章小結 283   隨著人工智慧浪潮的到來，筆者身邊有越來越多的人投入到人工智慧和大資料的學習與研究中。他們來自不同的行業，有高校老師和學生，有AI研究專家，有物理或數學專業人才。他們都迫切希望能夠獲取大量相關領域的資料，用於學習和研究。而互聯網中源源不斷的海量資料為他們提供了一個既經濟又可靠的來源。如何簡單、高效、快捷地獲取這些資料呢？筆者試圖為他們推薦幾本能快速入手的書籍。經過一番瞭解，發現目前市場上關於網路爬蟲的圖書主要分為兩類：一類是翻譯成中文的外版圖書，其定位

相對高端，且翻譯品質參差不齊，閱讀難度較大，不易上手，故不適合初學者學習；另一類是國內原創的一些關於網路爬蟲的圖書，這些書大多要求讀者具備一定的Python程式設計基礎，雖然書中對各種網路爬蟲框架都有介紹，但是不深入也不成體系，對於零基礎或非電腦專業的人員來說，顯然也不太適合。 於是，他們就“慫恿”我，希望我能編寫一本從零基礎開始學起的網路爬蟲書籍。雖然我從事網路爬蟲教學工作多年，但我深知教學跟寫書是兩碼事。教學注重臨場發揮，思維比較發散；而寫書要求文筆流暢、邏輯嚴謹縝密。我實在沒有信心接受這個挑戰。直到有一天，機械工業出版社的編輯聯繫到了我，認為我從事教育和研究工作，能講、會說、有技術，對

寫書來說正是最大的優勢。於是在編輯的鼓勵和指導下，我開始構思和梳理文章脈絡：首先，《從零開始學Scrapy網路爬蟲》受眾要廣，即使是零基礎或非電腦專業的“小白”也能上手；其次，《從零開始學Scrapy網路爬蟲》內容不追求多和雜，只選用最流行、最好用、最強大的網路爬蟲框架介紹即可；最後，《從零開始學Scrapy網路爬蟲》的可操作性和實用性要強，通過反覆運算案例加深讀者對知識的理解與應用，以典型的、知名的網站為爬取目標，提高讀者解決實際問題的能力。《從零開始學Scrapy網路爬蟲》正是遵循這樣的思路逐步推進，不斷優化，最後順利地完成了寫作。  

攝圖網進入發燒排行的影片

適用自定義資料集在教學環境下學生行為之及時偵測

為了解決攝圖網的問題，作者謝維庭 這樣論述：

此篇論文目的是在教學環境中，使用影像辨識技術，辨別學生在上課中的行為，並根據精準教育中學習行為與學習環境，透過YOLOv4(You Only Look Once)這個網路架構，搭配Stanford 40 Actions行為資料集，時做出及時目標監控為導向的行為偵測器，並應用在大學課堂中。找出那些對於那些學習無益的行為，此系統會偵測學生的行為並呈現在螢幕上，以此將學生的上課表現呈現給教育者。此外，YOLOv4是由以下四個部分組成:Input,Backbone:CSPDarknet53,Neck:SPP,Heads: Dense Prediction, Sparse Prediction，因此與

前面幾個版本比起來有更高的準確率，以及更好的骨幹網路進行訓練集的特徵提取，因此在學習行為中，有些對學習無益的行為可將其標註並放進訓練集，並使偵測器可以呈現出學生的上課狀況給教學者看。YOLOv4能夠應用在各種環境，例如：教學環境上，可以根據學生在教室中的行為(玩手機、喝水、寫筆記…)，訓練出一個適用於學習表現評估的偵測器或是在商場裡根據顧客行為，分析顧客對商品的購買意願。而本研究將此模型套用到教學環境中，讓教學者在螢幕上，顯示出現場學生的行為，並且能有效讓教學者了解到現場學生的專心程度。