具體描述
編輯推薦
詳解網絡爬蟲的原理、工具、框架和方法，內容新，實戰案例多
詳解從簡單網頁到異步加載網頁，從簡單存儲到數據庫存儲，從簡單爬蟲到框架爬蟲等技術
22個網絡爬蟲綜閤實戰案例、30個網站信息提取、2500餘行代碼
詳解爬蟲的3大方法：正則錶達式、BeautifulSoup 4庫和Lxml庫
詳解爬取數據的4大存儲方式：TXT、CSV、MongoDB和MySQL
詳解Scrapy爬蟲框架的安裝、項目創建、文件使用及爬取數據的存儲
內容簡介
Python是數據分析的首*語言，而網絡中的數據和信息很多，如何從中獲取需要的數據和信息呢？*簡單、直接的方法就是用爬蟲技術來解決。
本書是一本教初學者學習如何爬取網絡數據和信息的入門讀物。書中不僅有Python的相關內容，而且還有數據處理和數據挖掘等方麵的內容。本書內容非常實用，講解時穿插瞭22個爬蟲實戰案例，可以大大提高讀者的實際動手能力。
本書共分12章，核心主題包括Python零基礎語法入門、爬蟲原理和網頁構造、第*個爬蟲程序、正則錶達式、Lxml庫與Xpath語法、使用API、數據庫存儲、多進程爬蟲、異步加載、錶單交互與模擬登錄、Selenium模擬瀏覽器、Scrapy爬蟲框架。此外，書中通過一些典型爬蟲案例，講解瞭有經緯信息的地圖圖錶和詞雲的製作方法，讓讀者體驗數據背後的樂趣。
本書適閤爬蟲技術初學者、愛好者及高等院校的相關學生，也適閤數據爬蟲工程師作為參考讀物，同時也適閤各大Python數據分析的培訓機構作為教材使用。
本書綜閤案例
爬取北京地區短租房信息
爬取酷狗TOP500的數據
爬取《鬥破蒼穹》全文小說
爬取糗事百科網的段子信息
爬取豆瓣網圖書TOP250數據
爬取起點中文網小說信息
爬取PEXELS圖片
爬取糗事百科網的用戶地址信息
爬取豆瓣音樂TOP250的數據
爬取豆瓣電影TOP250的數據
爬取簡書網熱評文章
爬取轉轉網二手市場商品信息
爬取簡書網用戶動態信息
爬取簡書網7日熱門信息
爬取拉勾網招聘信息
爬取新浪微博好友圈信息
爬取QQ空間好友說說
爬取淘寶商品信息
爬取簡書網熱門專題信息
爬取知乎網Python精華話題
爬取簡書網專題收錄文章
爬取簡書網推薦信息
作者簡介
羅攀，知名論壇Python爬蟲專題管理員。擅長Python爬蟲技術，並對Python數據分析與挖掘也有研究。曾經在CSDN等多個知名博客網站發錶多篇技術文章，深受讀者的喜愛。目前從事綫上Python網絡爬蟲的培訓工作。
蔣仟，喜愛並擅長Python編程，並將Python作為學術研究手段。在數據采集、數據分析等方麵均有較為深入的研究。對Python網絡爬蟲技術應用也頗有心得。目前從事林業遙感技術的研究，並利用業餘時間兼職從事Python培訓方麵的工作。
目錄
前言
第1章 Python零基礎語法入門 1
1.1 Python與PyCharm安裝 1
1.1.1 Python安裝（Windows、Mac和Linux） 1
1.1.2 PyCharm安裝 3
1.2 變量和字符串 3
1.2.1 變量 4
1.2.2 字符串的“加法”和“乘法” 4
1.2.3 字符串的切片和索引 5
1.2.4 字符串方法 5
1.3 函數與控製語句 7
1.3.1 函數 7
1.3.2 判斷語句 8
1.3.3 循環語句 8
1.4 Python數據結構 9
1.4.1 列錶 9
1.4.2 字典 11
1.4.3 元組和集閤 11
1.5 Python文件操作 11
1.5.1 打開文件 11
1.5.2 讀寫文件 12
1.5.3 關閉文件 13
1.6 Python麵嚮對象 13
1.6.1 定義類 14
1.6.2 實例屬性 14
1.6.3 實例方法 15
1.6.4 類的繼承 16
第2章 爬蟲原理和網頁構造 17
2.1 爬蟲原理 17
2.1.1 網絡連接 17
2.1.2 爬蟲原理 18
2.2 網頁構造 21
2.2.1 Chrome瀏覽器的安裝 21
2.2.2 網頁構造 22
2.2.3 查詢網頁信息 23
第3章 我的第一個爬蟲程序 26
3.1 Python第三方庫 26
3.1.1 Python第三方庫的概念 26
3.1.2 Python第三方庫的安裝方法 27
3.1.3 Python第三方庫的使用方法 29
3.2 爬蟲三大庫 30
3.2.1 Requests庫 30
3.2.2 BeautifulSoup庫 32
3.2.3 Lxml庫 36
3.3 綜閤案例1——爬取北京地區短租房信息 37
3.3.1 爬蟲思路分析 37
3.3.2 爬蟲代碼及分析 38
3.4 綜閤案例2——爬取酷狗TOP500的數據 41
3.4.1 爬蟲思路分析 41
3.4.2 爬蟲代碼及分析 43
第4章 正則錶達式 45
4.1 正則錶達式常用符號 45
4.1.1 一般字符 45
4.1.2 預定義字符集 46
4.1.3 數量詞 46
4.1.4 邊界匹配 47
4.2 re模塊及其方法 48
4.2.1 search()函數 48
4.2.2 sub()函數 49
4.2.3 findall()函數 49
4.2.4 re模塊修飾符 51
4.3 綜閤案例1——爬取《鬥破蒼穹》全文小說 53
4.3.1 爬蟲思路分析 53
4.3.2 爬蟲代碼及分析 55
4.4 綜閤案例2——爬取糗事百科網的段子信息 56
4.4.1 爬蟲思路分析 56
4.4.2 爬蟲代碼及分析 58
第5章 Lxml庫與Xpath語法 63
5.1 Lxml庫的安裝與使用方法 63
5.2 Xpath語法 68
5.3 綜閤案例1——爬取豆瓣網圖書TOP250的數據 77
5.4 綜閤案例2——爬取起點中文網小說信息 83
第6章 使用API 88
6.1 API的使用 88
6.2 解析JSON數據 93
6.3 綜閤案例1——爬取PEXELS圖片 98
6.4 綜閤案例2——爬取糗事百科網的用戶地址信息 102
第7章 數據庫存儲 109
7.1 MongoDB數據庫 109
7.2 MySQL數據庫 117
7.3 綜閤案例1——爬取豆瓣音樂TOP250的數據 126
7.4 綜閤案例2——爬取豆瓣電影TOP250的數據 132
第8章 多進程爬蟲 139
8.1 多綫程與多進程 139
8.2 綜閤案例1——爬取簡書網熱評文章 143
8.3 綜閤案例2——爬取轉轉網二手市場商品信息 150
第9章 異步加載 159
9.1 異步加載技術與爬蟲方法 159
9.2 綜閤案例1——爬取簡書網用戶動態信息 165
9.3 綜閤案例2——爬取簡書網7日熱門信息 173
第10章 錶單交互與模擬登錄 182
10.1 錶單交互 182
10.2 模擬登錄 187
10.3 綜閤案例1——爬取拉勾網招聘信息 188
10.4 綜閤案例2——爬取新浪微博好友圈信息 195
第11章 Selenium模擬瀏覽器 209
11.1 Selenium和PhantomJS 209
11.2 Selenium和PhantomJS的配閤使用 213
11.3 綜閤案例1——爬取QQ空間好友說說 218
11.4 綜閤案例2——爬取淘寶商品信息 224
第12章 Scrapy爬蟲框架 229
12.1 Scrapy的安裝和使用 229
12.2 綜閤案例1——爬取簡書網熱門專題信息 240
12.3 綜閤案例2——爬取知乎網Python精華話題 246
12.4 綜閤案例3——爬取簡書網專題收錄文章 250
12.5 綜閤案例4——爬取簡書網推薦信息 257
前言/序言
隨著Internet的飛速發展，互聯網中每天都會産生大量的非結構化數據。如何從這些非結構化數據中提取有效信息，供人們在學習和工作中使用呢？這個問題促使網絡爬蟲技術應運而生。由於Python語言簡單易用，而且還提供瞭優秀易用的第三方庫和多樣的爬蟲框架，所以使得它成為瞭網絡爬蟲技術的主力軍。近年來，大數據技術發展迅速，數據爬取作為數據分析的一環也顯得尤為重要。程序員要進入與數據處理、分析和挖掘等相關的行業，就必須要掌握Python語言及其網絡爬蟲的運用，這樣纔能在就業嚴峻的市場環境中有較強的職場競爭力和較好的職業前景。
目前，圖書市場上僅有的幾本Python網絡爬蟲類圖書，要麼是國外優秀圖書，但書籍翻譯隱晦，閱讀難度大，而且往往由於網絡原因，使得書中的案例不能正常使用，因此不適閤初學者；要麼是國內資料，但質量參差不齊，而且不成係統，同樣不適閤初學者。整個圖書市場上還鮮見一本適閤初學者閱讀的Python網絡爬蟲類圖書。本書便是基於這個原因而編寫。本書從Python語言基礎講起，然後深入淺齣地介紹瞭爬蟲原理、各種爬蟲技術及22個爬蟲實戰案例。本書全部選用國內網站作為爬蟲案例，便於讀者理解和實現，同時也可以大大提高讀者對Python網絡爬蟲項目的實戰能力。
本書特色
1．涵蓋Windows 7係統第三方庫的安裝與配置
本書包含Python模塊源的配置、第三方庫的安裝和使用，以及PyCharm的安裝和使用。
2．對網絡爬蟲技術進行瞭原理性的分析
本書從一開始便對網絡連接和爬蟲原理做瞭基本介紹，並對網絡爬蟲的基本流程做瞭詳細講解，便於讀者理解本書後麵章節中的爬蟲項目案例。
3．內容全麵，應用性強
本書介紹瞭從單綫程到多進程，從同步加載到異步加載，從簡單爬蟲到框架爬蟲等一係列爬蟲技術，具有超強的實用性，讀者可以隨時查閱和參考。
4．項目案例典型，實戰性強，有較高的應用價值
本書介紹瞭22個爬蟲項目實戰案例。這些案例來源於不同的網站頁麵，具有很高的應用價值。而且這些案例分彆使用瞭不同的爬蟲技術實現，便於讀者融會貫通地理解書中介紹的技術。
本書內容
第1章 Python零基礎語法入門
本章介紹瞭Python和PyCharm的安裝及Python最為簡單的語法基礎，包括簡單的流程控製、數據結構、文件操作和麵嚮對象的編程思想。
第2章 爬蟲原理和網頁構造
本章通過介紹網絡連接原理，進而介紹瞭爬蟲的原理，講解瞭爬蟲的基本流程，另外還介紹瞭如何使用Chrome瀏覽器認識網頁構造和查詢網頁信息。
第3章 我的第一個爬蟲程序
本章主要介紹瞭安裝請求和解析網頁的Python第三方庫、Requests庫和BeautifulSoup庫的使用方法，最後通過綜閤案例手把手教會讀者編寫一個簡單的爬蟲程序。
第4章 正則錶達式
本章主要介紹瞭正則錶達式的常用符號及Python中re模塊的使用方法，在不需要解析庫的情況下完成一個簡單的爬蟲程序。
第5章 Lxml庫與Xpath語法
本章主要介紹瞭Lxml庫在Mac和Linux環境中的安裝方法、Lxml庫的使用方法及Xpath語法知識，並且通過案例對正則錶達式、BeautifulSoup和Lxml進行瞭性能對比，最後通過綜閤案例鞏固Xpath語言的相關知識。
第6章 使用API
本章主要介紹瞭API的使用和調用方法，對API返迴的JSON數據進行解析，最後通過使用API完成一些有趣的綜閤案例。
第7章 數據庫存儲
本章主要介紹瞭非關係型數據庫MongoDB和關係型數據庫MySQL的相關知識，並通過綜閤案例展示瞭Python對兩種數據庫的存儲方法。
第8章 多進程爬蟲
本章主要介紹瞭多綫程及其概念，並通過案例對串行爬蟲和多進程爬蟲的性能進行瞭對比，最後通過綜閤案例介紹瞭多進程爬取數據的方法和技巧。
第9章 異步加載
本章主要介紹瞭異步加載的基本概念，以及如何針對異步加載網頁使用逆嚮工程抓取數據，最後通過綜閤案例講解瞭逆嚮工程的使用方法和常用技巧。
第10章 錶單交互與模擬登錄
本章主要介紹瞭Requests庫的POST方法，通過觀測錶單源代碼和逆嚮工程來填寫錶單以獲取網頁信息，以及通過提交cookie信息來模擬登錄網站。
第11章 Selenium模擬瀏覽器
本章主要介紹瞭Selenium模塊的安裝、Selenium瀏覽器的選擇和安裝，以及Selenium模塊的使用方法，最後通過綜閤案例介紹瞭如何對采用異步加載技術的網頁進行爬蟲。
第12章 Scrapy爬蟲框架
本章主要介紹瞭Windows 7環境中的Scrapy安裝和創建爬蟲項目的過程，並通過案例詳細講解瞭各個Scrapy文件的作用和使用方法，而且通過多個綜閤案例講解瞭如何通過Scrapy爬蟲框架把數據存儲到不同類型的文件中，最後講解瞭如何編寫跨頁麵網站的爬蟲代碼。
本書讀者對象
? 數據爬蟲初學者；
? 數據分析初級人員；
? 網絡爬蟲愛好者；
? 數據爬蟲工程師；
? Python初級開發人員；
? 需要提高動手能力的爬蟲技術人員；
? 高等院校的相關學生。
本書配套資源及獲取方式
本書涉及的源代碼文件等配套學習資源需要讀者自行下載。請登錄機械工業齣版社華章公司的網站www.hzbook.com，然後搜索到本書頁麵，按照頁麵上的說明進行下載即可。
雖然我們對書中所述內容都盡量核實，並多次進行文字校對，但因時間有限，加之水平所限，書中疏漏和錯誤之處在所難免，敬請廣大讀者批評、指正。聯係我們請發E-mail到hzbook2017@163.com。
編著者
用戶評價
這本書的封麵設計真的很有吸引力，深邃的藍色背景配上簡潔明亮的Python Logo，一下子就抓住瞭我的眼球。我一直對網絡爬蟲這個領域充滿瞭好奇，但又覺得自己基礎薄弱，不知道從何下手。看到“從零開始”這幾個字，我簡直看到瞭希望！我希望這本書能夠像一個經驗豐富的嚮導，一步一步地帶領我這個新手，從最基礎的概念講起，比如什麼是爬蟲，爬蟲能做什麼，需要哪些準備等等。我尤其期待它能在講解過程中，穿插一些實際的案例，比如如何爬取某個新聞網站的標題，或者某個電商網站的商品信息。這樣，我纔能更直觀地理解知識點，而不是乾巴巴地看理論。同時，我希望這本書的語言風格能夠通俗易懂，避免使用過於晦澀的技術術語，即使有，也能附帶詳細的解釋。畢竟，對於初學者來說，理解比記憶更重要。我希望這本書能讓我覺得學習過程是輕鬆愉快的，而不是枯燥乏味的。如果能提供一些在綫的練習平颱或者代碼示例，那就更完美瞭，這樣我就可以立即動手實踐，加深印象。
評分這本書給我最直觀的感受就是它的實用性。我之前嘗試過一些其他的編程書籍，但很多都過於偏重理論，學完之後感覺還是不知道如何應用到實際項目中。而這本書的書名就直接點明瞭它的目的——“學Python網絡爬蟲”。這意味著它應該會非常注重實戰。我希望它能涵蓋從搭建環境、選擇閤適的爬蟲框架（比如Scrapy或者BeautifulSoup），到如何解析HTML、CSS，再到如何處理動態加載的內容，甚至是反爬蟲策略的應對。我特彆關注的是書中是否會講解如何高效地提取所需數據，並且如何將這些數據進行清洗和存儲。比如，爬取到的數據格式可能參差不齊，需要進行預處理，纔能方便後續分析。我還希望能學到一些進階的技巧，比如如何使用多綫程或異步IO來提高爬取效率，以及如何構建一個完整的爬蟲項目。這本書的篇幅如果足夠，我希望它能深入地探討一些常見的爬蟲場景，並提供相應的解決方案。
評分作為一名完全沒有編程基礎的讀者，我最擔心的是學習過程中會遇到難以逾越的障礙。我希望這本書能夠非常細緻地講解每一個步驟，就像手把手教我一樣。比如說，在講解Python基礎的時候，如果能順帶解釋一下與爬蟲相關的核心概念，而不是讓我再去翻閱另一本書。然後，在介紹爬蟲庫的時候，希望能詳細講解每個函數的作用，以及如何組閤使用它們。我特彆希望書中能有一些“避坑指南”，指齣初學者容易犯的錯誤，並給齣正確的解決方案。比如，在發送HTTP請求時，如何設置headers，如何處理編碼問題，這些細節對於新手來說至關重要。如果書中能夠提供一個清晰的學習路徑，讓我知道每個章節的學習目標是什麼，以及學完之後我能做什麼，那會讓我更有信心堅持下去。我對這本書的期望是，它能夠讓我從一個“小白”變成一個能夠獨立完成簡單爬蟲任務的人。
評分我一直對數據分析和信息獲取很感興趣，而網絡爬蟲是獲取大量數據的有效途徑。這本書的書名“從零開始學Python網絡爬蟲”讓我覺得非常貼切，因為我之前確實對這方麵一無所知。我希望這本書能夠係統地介紹網絡爬蟲的原理，從HTTP協議的基礎知識講起，然後逐步深入到如何使用Python的requests庫來發送請求，以及如何利用BeautifulSoup或者lxml來解析HTML文檔。我尤其希望它能包含一些關於JavaScript渲染頁麵的處理方法，因為現在很多網站都依賴JavaScript來加載內容，這對於初學者來說是一個不小的挑戰。此外，我也希望能學到如何應對一些常見的反爬蟲機製，比如User-Agent的僞裝、IP代理池的使用，以及驗證碼的處理。如果書中能提供一些完整的代碼示例，並且能夠解釋清楚每行代碼的含義，那對我來說將是巨大的幫助。
評分這本書的吸引力在於它承諾的“從零開始”。這意味著我不需要有任何預備知識，就能踏上學習Python網絡爬蟲的旅程。我希望這本書的結構能夠非常清晰，從最基礎的Python語法開始，然後是網絡爬蟲的基本概念，接著是常用庫的介紹和使用，最後是更復雜的實戰技巧。我特彆希望它能包含一些關於數據清洗和存儲的章節，因為爬取到的原始數據往往不能直接使用，需要進行處理。例如，如何將爬取到的數據保存到CSV文件、JSON文件，甚至是數據庫中。我還需要瞭解如何處理不同類型的數據，比如文本、圖片、鏈接等。如果書中能夠提供一些案例，演示如何從不同的網站（比如社交媒體、論壇、博客等）爬取有價值的信息，並且這些案例能夠涵蓋從簡單到復雜的不同難度，那就太棒瞭。這本書應該能夠讓我逐步建立起對網絡爬蟲的信心，並激發我對數據挖掘的興趣。
評分網絡爬蟲相關書，很好。
評分挺好的 哈哈哈哈哈哈哈 經濟實惠 嗬嗬(^_^)(^_^)
評分質量很好，非常滿意！
評分商品不錯，價格優惠，物流很快。
評分是本不錯的書，例子都比較新。內容對於新手也比較友善，講瞭最為基礎核心的部分。
評分發貨快，物流服務好，書正版，喜歡在京東買書，就是沒趕上大促銷的時候，好好學習，多看書瞭解科技知識，少看手機。
評分特彆好特彆好特彆好特彆好特彆好！！！
評分不錯的東西。很好。
評分挺不錯的，字跡清晰，支持正版書籍，緊跟軟件開發大趨勢。
相關圖書
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息，本站不存儲任何數據與內容，任何內容與數據均與本站無關，如有需要請聯繫相關搜索引擎包括但不限於百度，google,bing,sogou 等
© 2025 book.cndgn.com All Rights Reserved. 新城书站 版權所有