如何用Python抓取上海美團火鍋的數據？
2020-12-18 09:24
Python進階學習交流
關注
最近有個小伙伴在群里問美團數據怎么獲取，而且她只要火鍋數據，她在上海，只要求抓上海美團火鍋的數據，而且要求也不高，只要100條，想做個簡單的分析，相關的字段如下圖所示。
乍一看，這個問題還真的是蠻難的，畢竟美團也不是那么好抓，什么驗證碼，模擬登陸等一大堆拂面而來，嚇得小伙伴都倒地了。
通過F12查看，抓包，分析URL，找規律，等等操作。
不過白慌，今天小編給大家介紹一個小技巧，另辟蹊徑去搞定美團的數據，這里需要用到抓包工具Fiddler。講道理，之前我開始接觸網絡爬蟲的時候也沒有聽過這個東東，后來就慢慢知道了，而且它真的蠻實用的，建議大家都能學會用它。這個工具專門用于抓包，而且其安裝包也非常小，如下圖所示。
接下來，我們開始進行抓取信息。
1、在Fiddler的左側找到meituan網站的鏈接，如下圖所示。鏈接的左邊返回的response（響應）的文件類型，可以看到是JSON文件，爾后雙擊這一行鏈接。
分享
聲明：
本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權或其他問題，請聯系舉報。
最新活動更多
-
即日-12.31馬上申請>> 【產品試用】飛算全自動建模平臺
-
即日-1.15預先登記>> 維科杯·2020（第三屆）機器人行業年度評選
-
1月20-22日立即報名>> 【在線觀展】日本東京國際智能制造技術綜合博覽會
-
4日7日預先登記>> OFweek 2021（第十屆）中國機器人產業大會暨年度評選頒獎典禮
-
精彩回顧立即查看>> 英特爾智能移動設備參考設計發布會
-
精彩回顧立即查看>> 【研華科技】產業AI技術論壇
發表評論
請輸入評論內容...
請輸入評論/評論長度6~500個字
暫無評論
暫無評論