摘要：隨著科技時代的飛快發(fā)展,使用技術和創(chuàng)新來搜索數(shù)據(jù),是大數(shù)據(jù)研究的方向?；赑ython的網絡爬蟲提取數(shù)據(jù)是目前使用頻率較高的一種技術方式,Python語言簡潔、開發(fā)速度快、可以跨平臺的特點,通過第三方request庫對網頁進行獲取返回值的內容。通過Python3種篩選方式對網頁中的數(shù)據(jù)進行快速的匹配。使用正則、XPath和Beautiful Soup這3種篩選技術對某個網頁中的圖片和文字進行提取。這樣不僅能很精準地找到網頁中所需數(shù)據(jù),而且能自動快速地將這些數(shù)據(jù)永久地保存下來,大大減少尋找數(shù)據(jù)的時間。當爬蟲技術的不斷優(yōu)化,功能也越來越強,數(shù)據(jù)盜取情況日益嚴重,很多網站采用了反爬蟲技術,因此正常的數(shù)據(jù)搜集需要一定的反反爬蟲技術手段。