Python網絡數據采集 pdf epub mobi txt 電子書 下載 2025

簡體網頁||繁體網頁

☆☆☆☆☆

[美] 米切爾（Ryan Mitchell） 著，陶俊傑，陳小莉 譯

齣版社： 人民郵電齣版社

ISBN：9787115416292

版次：1

商品編碼：11896401

包裝：平裝

叢書名： 圖靈程序設計叢書

開本：16開

齣版時間：2016-03-01

用紙：膠版紙

頁數：200

正文語種：中文

産品特色

編輯推薦

　　網絡上的數據量越來越大，單靠瀏覽網頁獲取信息越來越睏難，如何有效地提取並利用信息已成為一個巨大的挑戰。本書采用簡潔強大的Python語言，全麵介紹網絡數據采集技術，教你從不同形式的網絡資源中自由地獲取數據。你將學會如何使用Python腳本和網絡API一次性采集並處理成韆上萬個網頁上的數據。
　　本書適閤熟悉Python的程序員、安全專業人士、網絡管理員閱讀。書中不僅介紹瞭網絡數據采集的基本原理，還深入探討瞭更高級的主題，比如分析原始數據、用網絡爬蟲測試網站等。此外，書中還提供瞭詳細的代碼示例，以幫助你更好地理解書中的內容。
　　通過閱讀本書，你將能夠：
　　解析復雜的HTML頁麵　　遍曆多個網頁和網站　　瞭解API的基本概念和工作原理　　學習存儲數據的方法　　下載、讀取並抽取網絡文檔中的數據　　使用工具和方法清洗格式異常的數據　　讀取並處理自然語言　　越過錶單和登錄窗口采集數據　　學習采集JavaScript的方法　　學習圖像處理和文字識彆方法

內容簡介

　　本書采用簡潔強大的Python語言，介紹瞭網絡數據采集，並為采集新式網絡中的各種數據類型提供瞭全麵的指導。第1部分重點介紹網絡數據采集的基本原理：如何用Python從網絡服務器請求信息，如何對服務器的響應進行基本處理，以及如何以自動化手段與網站進行交互。第二部分介紹如何用網絡爬蟲測試網站，自動化處理，以及如何通過更多的方式接入網絡。

作者簡介

　　Ryan Mitchell，數據科學傢、軟件工程師，目前在波士頓LinkeDrive公司負責開發公司的API和數據分析工具。此前，曾在Abine公司構建網絡爬蟲和網絡機器人。她經常做網絡數據采集項目的谘詢工作，主要麵嚮金融和零售業。另著有Instant Web Scraping with Java。

目錄

譯者序 ix
前言 xi
第一部分　創建爬蟲
第1章　初見網絡爬蟲 2
1．1　網絡連接 2
1．2　BeautifulSoup簡介 4
1．2．1　安裝BeautifulSoup 5
1．2．2　運行BeautifulSoup 7
1．2．3　可靠的網絡連接 8
第2章　復雜HTML解析 11
2．1　不是一直都要用錘子 11
2．2　再端一碗BeautifulSoup 12
2．2．1　BeautifulSoup的find()和findAll() 13
2．2．2　其他BeautifulSoup對象 15
2．2．3　導航樹 16
2．3　正則錶達式 19
2．4　正則錶達式和BeautifulSoup 23
2．5　獲取屬性 24
2．6　Lambda錶達式 24
2．7　超越BeautifulSoup 25
第3 章　開始采集 26
3．1　遍曆單個域名 26
3．2　采集整個網站 30
3．3　通過互聯網采集 34
3．4　用Scrapy 采集 38
第4 章　使用API 42
4．1　API 概述 43
4．2　API 通用規則 43
4．2．1　方法 44
4．2．2　驗證 44
4．3　服務器響應 45
4．4　Echo Nest 46
4．5　Twitter API 48
4．5．1　開始 48
4．5．2　幾個示例 50
4．6　Google API 52
4．6．1　開始 52
4．6．2　幾個示例 53
4．7　解析JSON 數據 55
4．8　迴到主題 56
4．9　再說一點API 60
第5 章　存儲數據 61
5．1　媒體文件 61
5．2　把數據存儲到CSV 64
5．3　MySQL 65
5．3．1　安裝MySQL 66
5．3．2　基本命令 68
5．3．3　與Python 整閤 71
5．3．4　數據庫技術與最佳實踐 74
5．3．5　MySQL 裏的“六度空間遊戲” 75
5．4　Email 77
第6 章　讀取文檔 80
6．1　文檔編碼 80
6．2　純文本 81
6．3　CSV 85
6．4　PDF 87
6．5　微軟Word 和．docx 88
第二部分　高級數據采集
第7 章　數據清洗 94
7．1　編寫代碼清洗數據 94
7．2　數據存儲後再清洗 98
第8 章　自然語言處理 103
8．1　概括數據 104
8．2　馬爾可夫模型 106
8．3　自然語言工具包 112
8．3．1　安裝與設置 112
8．3．2　用NLTK 做統計分析 113
8．3．3　用NLTK 做詞性分析 115
8．4　其他資源 119
第9 章　穿越網頁錶單與登錄窗口進行采集 120
9．1　Python Requests 庫 120
9．2　提交一個基本錶單 121
9．3　單選按鈕、復選框和其他輸入 123
9．4　提交文件和圖像 124
9．5　處理登錄和cookie 125
9．6　其他錶單問題 127
第10 章　采集JavaScript 128
10．1　JavaScript 簡介 128
10．2　Ajax 和動態HTML 131
10．3　處理重定嚮 137
第11 章　圖像識彆與文字處理 139
11．1　OCR 庫概述 140
11．1．1　Pillow 140
11．1．2　Tesseract 140
11．1．3　NumPy 141
11．2　處理格式規範的文字 142
11．3　讀取驗證碼與訓練Tesseract 146
11．4　獲取驗證碼提交答案 151
第12 章　避開采集陷阱 154
12．1　道德規範 154
12．2　讓網絡機器人看起來像人類用戶 155
12．2．1　修改請求頭 155
12．2．2　處理cookie 157
12．2．3　時間就是一切 159
12．3　常見錶單安全措施 159
12．3．1　隱含輸入字段值 159
12．3．2　避免蜜罐 160
12．4　問題檢查錶 162
第13 章　用爬蟲測試網站 164
13．1　測試簡介 164
13．2　Python 單元測試 165
13．3　Selenium 單元測試 168
13．4　Python 單元測試與Selenium 單元測試的選擇 172
第14 章　遠程采集 174
14．1　為什麼要用遠程服務器 174
14．1．1　避免IP 地址被封殺 174
14．1．2　移植性與擴展性 175
14．2　Tor 代理服務器 176
14．3　遠程主機 177
14．3．1　從網站主機運行 178
14．3．2　從雲主機運行 178
14．4　其他資源 179
14．5　勇往直前 180
附錄A　Python 簡介 181
附錄B　互聯網簡介 184
附錄C　網絡數據采集的法律與道德約束 188
作者簡介 200
封麵介紹 200

前言/序言

評分☆☆☆☆☆

還木有仔細看裏麵的內容，感覺還可以，認真學習

評分☆☆☆☆☆

書的質量還是很不錯的

評分☆☆☆☆☆

很喜歡在東東上網購 真的不錯的 比其他網店實在 服務好 好喜歡 還會介紹朋友來 非常感謝京東商城給予的優質的服務，從倉儲管理、物流配送等各方麵都是做的非常好的。送貨及時，配送員也非常的熱情，有時候不方便收件的時候，也安排時間另行配送。同時京東商城在售後管理上也非常好的，以解客戶憂患，排除萬難。給予我們非常好的購物體驗。 Thank you very much for the excellent service provided by Jingdong mall, and it is very good to do in warehouse management, logistics, distribution and so on. Delivery in a timely manner, distribution staff is also very enthusiastic, and sometimes inconvenient to receive the time, but also arranged for time to be delivered. At the same time in the mall management Jingdong customer service is also very good, to solve customer suffering, overcome all difficulties. Give us a very good shopping experience.

評分☆☆☆☆☆

Thank you very much for the excellent service provided by Jingdong mall, and it is very good to do in warehouse management, logistics, distribution and so on. Delivery in a timely manner, distribution staff is also very enthusiastic, and sometimes inconvenient to receive the time, but also arranged for time to be delivered. At the same time in the mall management Jingdong customer service is also very good, to solve customer suffering, overcome all difficulties. Give us a very good shopping experience

評分☆☆☆☆☆

書很好，內容充實，是一本不可多得的好書

評分☆☆☆☆☆

這本新版的《Python核心編程（第3版）》,是適閤進階用的,至少要熟悉基礎的for和while語句,if語句和列錶字典什麼的！不過挺貴的,七十多塊！還有就是隻有很少的答案,是不是有課後習題的IT類的書都這樣啊！有些東西也沒有深入,比如爬蟲,總之就是教你一些基本的東西,其他還得你自己去網上進一步深入！還在學習中,還請各位大神多多指教！

評分☆☆☆☆☆

吾消費京東商城數年，深知各産品 琳琅滿目。然，唯此寶物與眾皆不同，為齣淤泥之清蓮。使吾為之動容，心馳神往，以至茶飯不思，寢食難安，輾轉反側無法忘懷。於是乎緊衣縮食，湊齊銀兩，傾吾之所有而能買。東哥之熱心、快遞員之殷切，無不讓人感激涕零，可謂迅雷不及掩耳盜鈴兒響叮當仁不讓世界充滿愛。待打開包裹之時，頓時金光四射，屋內升起七彩祥雲，處處皆是祥和之氣。吾驚訝之餘甚是欣喜若狂，嗚呼哀哉！此寶乃是天上物，人間又得幾迴求！遂沐浴更衣，焚香禱告後與 人共賞此寶。人皆贊嘆不已，故生此寶物款型及做工，超高性價比之慨，且贊吾獨具慧眼與時尚品位。産品介紹果然句句 實言，毫無誇大欺瞞之嫌。吾消費京東商城數年，深知各産品琳琅滿目。然，唯此寶物與眾皆不同，為齣淤泥之清蓮。使吾為之動容，心馳神往，以至茶飯不思，寢食難安，輾轉反側無法忘懷。於是乎緊衣縮食，湊齊銀兩，傾吾之所有而能買。東哥之熱心、快遞員之殷切，無不讓人感激涕零，可謂迅雷不及掩耳盜鈴兒響叮當仁不讓世界充滿愛。待打開包裹之時，頓時金光四射，屋內升起七彩祥雲，處處皆是祥和之氣。吾驚訝之餘甚是欣喜若狂，嗚呼哀哉！此寶乃是天上物，人間又得幾迴求！

評分☆☆☆☆☆

2、雖然隻是基礎入門，但很詳細，雖然有基礎的人會覺得很囉嗦，但這不正是我們這種0基礎或從來沒有編程經驗的人所需要的嗎？

評分☆☆☆☆☆

also very enthusiastic,and sometimes inconvenient