【一、項目背景】

  百度貼吧是全球最大的中文交流平臺，你是否跟我一樣，有時候看到評論區的圖片想下載呢？或者看到一段視頻想進行下載呢？

  今天，小編帶大家通過搜索關鍵字來獲取評論區的圖片和視頻。

【二、項目目標】

  實現把貼吧獲取的圖片或視頻保存在一個文件。

【三、涉及的庫和網站】

1、網址如下：

https：／／tieba．baidu．com／f？ie＝utf－8＆kw＝吳京＆fr＝search

2、涉及的庫：requests、lxml、urrilb

【四、項目分析】

1、反爬措施的處理

 前期測試時發現，該網站反爬蟲處理措施很多，測試到有以下幾個：

  1） 直接使用requests庫，在不設置任何header的情況下，網站直接不返回數    據。

  2） 同一個ip連續訪問40多次，直接封掉ip，起初我的ip就是這樣被封掉的。

 為了解決這兩個問題，最后經過研究，使用以下方法，可以有效解決。

 獲取正常的 http請求頭，并在requests請求時設置這些常規的http請求頭。

2、如何實現搜索關鍵字？

  通過網址我們可以發現只需要在kw＝（） ，括號中輸入你要搜索的內容即可。這樣就可以用一個｛｝來替代它，后面我們在通過循環遍歷它。

【五、項目實施】

1、創建一個名為BaiduImageSpider的類，定義一個主方法main和初始化方法init。導入需要的庫。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider（object）：    def ＿＿init＿＿（self， tieba＿name）：        pass    def main（self）：        passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    inout＿word ＝ input（＂請輸入你要查詢的信息：＂）
   spider．main（）        passif ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    spider＝ ImageSpider（）    spider．main（）

2、準備url地址和請求頭headers 請求數據。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider（object）：    def ＿＿init＿＿（self， tieba＿name）：          self．tieba＿name ＝ tieba＿name ＃輸入的名字        self．url ＝ ＂http：／／tieba．baidu．com／f？kw＝｛｝＆ie＝utf－8＆pn＝0＂        self．headers ＝ ｛            ＇User－Agent＇： ＇Mozilla／4．0 （compatible； MSIE 8．0； Windows NT 6．1； WOW64； Trident／4．0； SLCC2； ．NET CLR 2．0．50727； ．NET CLR 3．5．30729； ．NET CLR 3．0．30729； Media Center PC 6．0； ．NET4．0C； InfoPath．3）＇        ｝
   ＇＇＇發送請求 獲取響應＇＇＇    def get＿parse＿page（self， url， xpath）：        html ＝ requests．get（url＝url， headers＝self．headers）．content．decode（＂utf－8＂）        parse＿html ＝ etree．HTML（html）        r＿list ＝ parse＿html．xpath（xpath）        return r＿list    def main（self）：        url ＝ self．url．format（self．tieba＿name）if ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    inout＿word ＝ input（＂請輸入你要查詢的信息：＂）    key＿word ＝ parse．quote（inout＿word）    spider ＝ BaiduImageSpider（key＿word）    spider．main（）