訂閱
糾錯
加入自媒體

如何通過搜索關鍵字來獲取百度貼吧評論區的圖片和視頻?

【一、項目背景】

  百度貼吧是全球最大的中文交流平臺,你是否跟我一樣,有時候看到評論區的圖片想下載呢?或者看到一段視頻想進行下載呢?

  今天,小編帶大家通過搜索關鍵字來獲取評論區的圖片和視頻。

【二、項目目標】

  實現把貼吧獲取的圖片或視頻保存在一個文件。

【三、涉及的庫和網站】

1、網址如下:

https://tieba.baidu.com/f?ie=utf-8&kw=吳京&fr=search

2、涉及的庫:requests、lxml、urrilb

【四、項目分析】

1、反爬措施的處理

 前期測試時發現,該網站反爬蟲處理措施很多,測試到有以下幾個:

  1) 直接使用requests庫,在不設置任何header的情況下,網站直接不返回數    據。

  2) 同一個ip連續訪問40多次,直接封掉ip,起初我的ip就是這樣被封掉的。

 為了解決這兩個問題,最后經過研究,使用以下方法,可以有效解決。

 獲取正常的 http請求頭,并在requests請求時設置這些常規的http請求頭。

2、如何實現搜索關鍵字?

  通過網址我們可以發現只需要在kw=() ,括號中輸入你要搜索的內容即可。這樣就可以用一個{}來替代它,后面我們在通過循環遍歷它。

【五、項目實施】

1、創建一個名為BaiduImageSpider的類,定義一個主方法main和初始化方法init。導入需要的庫。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider(object):    def __init__(self, tieba_name):        pass    def main(self):        passif __name__ == '__main__':    inout_word = input("請輸入你要查詢的信息:")
   spider.main()        passif __name__ == '__main__':    spider= ImageSpider()    spider.main()

2、準備url地址和請求頭headers 請求數據。import requestsfrom lxml import etreefrom urllib import parseclass BaiduImageSpider(object):    def __init__(self, tieba_name):          self.tieba_name = tieba_name #輸入的名字        self.url = "http://tieba.baidu.com/f?kw={}&ie=utf-8&pn=0"        self.headers = {            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'        }
   '''發送請求 獲取響應'''    def get_parse_page(self, url, xpath):        html = requests.get(url=url, headers=self.headers).content.decode("utf-8")        parse_html = etree.HTML(html)        r_list = parse_html.xpath(xpath)        return r_list    def main(self):        url = self.url.format(self.tieba_name)if __name__ == '__main__':    inout_word = input("請輸入你要查詢的信息:")    key_word = parse.quote(inout_word)    spider = BaiduImageSpider(key_word)    spider.main()

1  2  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

重庆时时彩app安卓系统 脱机麻将全集完整版 飞鱼彩票基本走势图 亿客隆 下载离线单机四人麻将 广西快三是合法彩票吗 永利棋牌官网登陆 免费公开一码资料 精准单双期期中特 德州棋牌麻将 天天捕鱼赢话费兑换码 贵阳川麻将 江苏11选5有什么规律 浙江体育彩票飞鱼 湖人凯尔特人 甘肃快三推荐号码 玩棋牌游戏赚钱排行榜