寫過爬蟲的同學(xué)都知道，當(dāng)我們想對(duì)App或者小程序進(jìn)行抓包時(shí)，最常用的工具是Charles、Fiddler或者M(jìn)imtProxy。但這些軟件用起來非常復(fù)雜。特別是當(dāng)你花了一兩個(gè)小時(shí)把這些軟件搞定的時(shí)候，別人只用了15分鐘就已經(jīng)手動(dòng)把需要的數(shù)據(jù)抄寫完成了。

(資料圖片僅供參考)

我的需求

如果你不是專業(yè)的爬蟲開發(fā)者，那么大多數(shù)時(shí)候你的抓包需求都是很小的需求，手動(dòng)操作也不是不能。這種時(shí)候，我們最需要的是一種簡(jiǎn)單快捷的，毫不費(fèi)力的方法來解放雙手。

例如我最近在玩《塞爾達(dá)傳說——王國(guó)之淚》，我有一個(gè)小需求，就是想找到防御力最大的帽子、衣服和褲子來混搭。這些數(shù)據(jù)，在一個(gè)叫做『Jump』的App上面全都有，如下圖所示：

圖片

防具總共也就幾十個(gè)，肉眼一個(gè)一個(gè)看也沒問題，就是費(fèi)點(diǎn)時(shí)間而已。那么，如果我想高效一些，有沒有什么簡(jiǎn)單辦法通過抓包再加上Python寫幾行代碼來篩選，快速找到我想要的數(shù)據(jù)呢？

手機(jī)上的操作

實(shí)際上，方法非常簡(jiǎn)單。我們只需要在手機(jī)上安裝一個(gè)App，叫做『Stream』，如下圖所示：

圖片

這個(gè)軟件在App Store國(guó)區(qū)就可以下載。

第一次打開這個(gè)App的時(shí)候，我們?cè)O(shè)置一下根證書，點(diǎn)擊下圖中箭頭指向的這個(gè)按鈕：

圖片

他會(huì)一步一步指導(dǎo)你安裝根證書。整個(gè)過程不超過30秒，這里我就不再贅述了。

安裝完成根證書以后，我們點(diǎn)擊『開始抓包』按鈕。此時(shí)，手機(jī)上面所有的流量就會(huì)經(jīng)過Stream并抓取下來。

我們打開Jump App，找到防具列表，然后不停往下滑動(dòng)屏幕，直到滑到最下面。

然后回到Stream，點(diǎn)擊『停止抓包』按鈕。抓包過程就完成了。

我們點(diǎn)擊『抓包歷史』按鈕，找到剛剛抓到的數(shù)據(jù)包，如下圖所示：

圖片

按域名進(jìn)行篩選，方便找到Jump App發(fā)送的HTTP請(qǐng)求。如下圖所示：

圖片

打開請(qǐng)求以后，點(diǎn)擊『響應(yīng)』-『查看響應(yīng)』按鈕，如下圖所示：

圖片

我們就能看到如下圖所示請(qǐng)求體，這確實(shí)就是防具對(duì)應(yīng)的數(shù)據(jù)包，如下圖所示：

圖片

我們現(xiàn)在，需要使用篩選功能，選出所有獲取防具信息的后端請(qǐng)求。所以先到『請(qǐng)求選項(xiàng)卡』，查看一下URL的規(guī)律，如下圖所示：

圖片

回到請(qǐng)求列表頁，點(diǎn)擊右上角的放大鏡進(jìn)行篩選，如下圖所示：

圖片

篩選以后，只有5個(gè)請(qǐng)求了，如下圖所示：

圖片

最后一步，我們點(diǎn)擊右上角的『編輯』按鈕，選中所有請(qǐng)求，并點(diǎn)擊右下角的『導(dǎo)出HAR』，如下圖所示：

圖片

大家可以使用AirDrop或者微信發(fā)送到電腦上。到此為止，手機(jī)上的所有操作就已經(jīng)結(jié)束了。接下來我們來到電腦上，寫一段Python代碼來解析這個(gè)HAR文件。

寫一點(diǎn)點(diǎn)代碼

這段代碼非常簡(jiǎn)單，大家可以直接復(fù)制：

import jsonimport brotliimport base64from haralyzer import HarParserwith open("/Users/kingname/Downloads/Stream-2023-07-06 22:08:44.har") as f:    har_parser = HarParser(json.loads(f.read()))data = har_parser.har_dataentries = data["entries"]for entry in entries:    text = entry["response"]["content"]["text"]    content = brotli.decompress(base64.b64decode(text)).decode()    info = json.loads(content)    print(info)

運(yùn)行效果如下圖所示：

圖片

這里我們使用了兩個(gè)第三方庫，分別是haralyzer和brotli。其中的haralyzer是用來解析HAR文件；brotli是用來對(duì)數(shù)據(jù)進(jìn)行解壓縮。

在一般情況下，其他網(wǎng)站的HAR解析，代碼到text = entry["response"]["content"]["text"]就可以了。返回的text直接就是人眼可讀的內(nèi)容了。但Jump稍微特殊一些，因?yàn)樗祷氐膬?nèi)容經(jīng)過壓縮，所以獲取到的是Base64字符串。如果我們直接打印，就會(huì)看到：

圖片

這個(gè)Base64不能直接解碼，因?yàn)榻饬艘院笫嵌M(jìn)制信息。從之前Stream的響應(yīng)Headers里面，我們可以看到這個(gè)數(shù)據(jù)是經(jīng)過br壓縮的，如下圖所示：

圖片

所以需要使用brotli解壓縮：brotli.decompress(base64.b64decode(text)).decode()。

現(xiàn)在你已經(jīng)拿到返回?cái)?shù)據(jù)的JSON信息了。那么接下來要對(duì)數(shù)據(jù)進(jìn)行怎么樣的處理，都不再是問題了。

總結(jié)安裝Stream并設(shè)置根證書打開抓包功能打開目標(biāo)App或者微信小程序，讓流量經(jīng)過Stream關(guān)閉抓包功能，從抓包歷史里面找到目標(biāo)請(qǐng)求的URL規(guī)則篩選出所有需要的請(qǐng)求，導(dǎo)出為HAR文件使用Python解析HAR文件

當(dāng)你熟練以后，整個(gè)過程不超過3分鐘就能完成。

關(guān)鍵詞：