假期必看全網最全Ph爬蟲庫
最全Python爬蟲庫
Python爬蟲庫推薦
通用:
1.urllib-網絡庫(stdlib) 。
2.requests-網絡庫。
3.grab-網絡庫(基於py curl) 。
4.py curl-網絡庫(綁定libcurl) 。
5.urllib 3-Python HTTP庫, 安全連接池、支持文件post
、可用性高。
6.-雲端執行R, Python和matlab代碼
網頁內容提取
提取網頁內容的庫。
·HTML頁面的文本和元數據
·newspaper-用Python進行新聞提取、文章提取和內容策
展。
·html2 text-將HTML轉為Markdown格式文本。
·python-goose-HTML內容/文章提取器。
·lassie-人性化的網頁內容檢索工具
Web Socket
用於Web Socket的庫。
·Crossbar-開源的應用消息傳遞路由器(Python實現的用
於Autobahn的Web Socket和WAMP) 。
·Autobahn Python-提供了Web Socket協議和WAMP
協議的Python實現並且開源。
·Web Socket-for-Python-Python 2和3以及PyPy的
Web Socket客戶端和服務器庫。