怎麽可以防止網頁被抓取-技術問答

看妳的需求了，可以搞得很復雜，也可以搞得很low。之前是做采集的，算不上大神級別。不過可以說80%以上的H5、網頁、app可以搞定。單擊和分布式爬蟲都弄過。日采集上千萬數據的不少。覆蓋也比較廣，視頻、電商、新聞、輿論分析類等等。總結起來，每個網站的難度都不壹樣，99%數據是可以抓取到的。百度就是國內最大的爬蟲，所以想要完全禁止的，除非服務器關了，數據刪了。否則要采集的手段太多了，無外乎就是出於成本上的考慮。

總結壹下：反爬只能防君子，防不了小人，可以加大難度，方法也有很多。不過也只是加大采集成本