本書的基本框架分為八個項目，項目一、初識爬蟲，包括認識爬蟲，以及網站robots協(xié)議和反爬蟲技術三個學習任務；項目二、網頁基礎，包括HTTP原理、網頁基礎知識、會話和COOKIE機制、谷歌瀏覽器開發(fā)者工具的使用等四個學習任務；項目三、Python基礎，包括搭建python開發(fā)環(huán)境、python基礎語法等六個任務。項目四、常用爬取庫，包括認識HTTP請求、urllib網絡請求庫基礎、初識requests網絡請求庫三個學習任務；項目五、常用解析庫，包括網頁解析基礎、XPath解析網頁、BS解析網頁、PyQuery解析庫四個學習任務。項目六、數據存儲，包括數據存儲在文本文件、實戰(zhàn)案例篇；關系型數據庫介紹、Mysq數據庫的安裝與啟九個學習任務；項目七、動態(tài)網頁數據爬取，包括動態(tài)網頁的含義、Selenium的安裝和使用案例、AJAX的概念和AJAX的分析方法、AJAX分析與爬取實戰(zhàn)四個學習任務。高級篇：項目八Scrapy爬蟲框架，包括Scrapy安裝與使用、案例分析兩個學習任務。