采集任務調度功能模塊怎麽寫

采集任務調度功能塊：需要用到不同的資源，比如：采集微博需要微博Cookie資源、采集雪球網需要雪球Cookie資源、采集汽車之家需要IP代理池資源等。

1、多數據結構混合實現：采集中經常會遇到兩個問題：a)屏蔽；b)抓取源碼需要多資源，比如：雪球網，即要用到Cookie資源。