[[418573]]

有些同學在寫爬蟲的時候，覺得只要自己每次請求都使用不同的代理 IP，每次請求的 Headers 都寫得跟瀏覽器的一模一樣，就不會被網站發現。

但實際上，還有一個東西，叫做瀏覽器指紋，它是不會隨著你更換 IP 或者 User-Agent 而改變的。而且即使你不使用模擬瀏覽器，你直接使用 Golang、使用 Python，它們也有自己各自的指紋，并且他們的指紋每次請求也是固定的。只要網站發現某個擁有特定指紋的客戶端持續高頻率請求網站，它就可以把你封掉。

你似乎不相信?那我證明給你看。

現在，我準備一個隧道代理，如下圖所示：

然后，我們打開一個網站：https://ja3er.com/json . 當你用電腦瀏覽器打開它的時候，它是這樣的：

不論你怎么刷新網頁，這上面的字符串都是不會變的。

現在，我使用 Python 去請求這個頁面，看到的內容如下圖所示：

可以看到，雖然我使用了隧道代理，每次請求的 IP 都是不一樣的，但是這個網站返回的內容始終是一樣的。所以如果這不是一個測試網站，而是一個加了這個檢測機制的網站，那么它輕松就能把我給屏蔽了。

這個檢測算法，叫做JA3算法。這個算法在官網上面的介紹信息如下：

The JA3 algorithm takes a collection of settings from the SSL “Client Hello” such as SSL/TLS version, accepted cipher suites, list of extensions, accepted elliptic curves, and elliptic curve formats.

JA3算法收集了 SSL 請求里面的信息，包括但不限于 SSL/TLS 版本，Cipher Suites數量，瀏覽器擴展列表，elliptic curves等等。通過這一系列參數綜合起來生成一個指紋字符串。也許這些參數里面，你跟一些人的 Cipher Suites 數量相同，你跟另外一些人的瀏覽器擴展數相同，你又跟另外一些人的 TLS版本號相同……但是所有這些參數全部相同的人，就非常少了。而在這非常少的人里面，這些人還同時訪問同一個網站的可能性就更小了。所以，網站用 JA3算法，可以近似認為，在一段時間內，指紋字符串相同的連續請求，有極大概率是來自同一個人。

JA3算法的三個作者之一John Althouse寫了一篇文章來介紹瀏覽器指紋和 JA3算法：TLS Fingerprinting with JA3 and JA3S | by John Althouse | Salesforce Engineering[1] 。有興趣的同學可以看一看。

但我們說，魔高一尺，道高一丈。JA3算法是不是真的無懈可擊呢?其實也不是，仍然有辦法繞過去的。請大家期待我后面的文章。

P.S.: 給大家科普一個小知識，日常生活中，我們常常聽一些人說，道高一尺，魔高一丈，又聽另一些人說，魔高一尺，道高一丈。那么這兩句到底哪一句是對的，什么情況下應該用哪一句呢?

其實，以道高一尺，魔高一丈為例，它的意思是，道非常厲害，道往上漲一尺所產生的力量，魔需要往上漲一丈才能抵消。通俗的講，就是巨人走一步，普通人要走十步才能追的上。

同理，魔高一尺，道高一丈的意思是魔非常厲害，魔往上漲一尺所產生的力量，道需要往上漲一丈才能抵消。

但我們日常生活中，很多人以為，魔高一尺，道高一丈的意思是說，魔長高一尺的時間，道已經長高了一丈，所以魔永遠追不上道。這種理解是錯誤的，這些人剛好把意思搞反。

參考資料

[1]TLS Fingerprinting with JA3 and JA3S | by John Althouse | Salesforce Engineering:https://engineering.salesforce.com/tls-fingerprinting-with-ja3-and-ja3s-247362855967

本文轉載自微信公眾號「未聞Code」，可以通過以下二維碼關注。轉載本文請聯系未聞Code公眾號。