11月22日，既是小雪節(jié)氣又是感恩節(jié)，再四舍五入一下這日子已經(jīng)逼近年關(guān)，這關(guān)口不得不提一個(gè)“火車(chē)票預(yù)售”的話(huà)題。

　　每年的12306的驗(yàn)證碼都會(huì)成為自媒體者調(diào)侃的對(duì)象，比如之前大火的要選擇“白百合&王珞丹”。

　　為啥12306會(huì)搞出這么“坑爹”的驗(yàn)證碼？實(shí)際上，就是為了防止“惡意”爬蟲(chóng)。（也可以看看淺黑科技在搜狐平臺(tái)發(fā)布的《我收到一份中國(guó)圖鑒》文章）

　　一：爬蟲(chóng)是什么？

　　爬蟲(chóng)就是一個(gè)探測(cè)機(jī)器，它的基本操作就是模擬人的行為去各個(gè)網(wǎng)站溜達(dá)，點(diǎn)點(diǎn)按鈕，查查數(shù)據(jù)，或者把看到的信息背回來(lái)。就像一只蟲(chóng)子在一幢樓里不知疲倦地爬來(lái)爬去。

　　但是，爬蟲(chóng)也分善惡。

　　像百度這樣的搜索引擎爬蟲(chóng)，每隔幾天對(duì)全網(wǎng)的網(wǎng)頁(yè)掃一遍，供大家查閱，各個(gè)被掃的網(wǎng)站大都很開(kāi)心。這種就被定義為“善意爬蟲(chóng)”。

　　但是，像搶票軟件這樣的爬蟲(chóng)，對(duì)著12306每秒鐘恨不得擼幾萬(wàn)次。12306并不覺(jué)得很開(kāi)心。這種就被定義為“惡意爬蟲(chóng)”。（注意，搶票的你覺(jué)得開(kāi)心沒(méi)用，被掃描的網(wǎng)站覺(jué)得不開(kāi)心，它就是惡意的。）

　　給你看一張圖：

　　這張圖里顯示的，就是各行各業(yè)被爬“叨擾”的比例。（注意，這張圖顯示是全世界，不是全中國(guó)。）而每一個(gè)色塊背后，都是一條真實(shí)而強(qiáng)大的利益鏈條。

　　二：接下來(lái)我們來(lái)聊聊爬蟲(chóng)的騷操作了

　　1、出行

　　出行行業(yè)中爬蟲(chóng)的占比最高（20.87%）。在出行的爬蟲(chóng)中，有89.02%的流量都是沖著12306去的。

　　我們說(shuō)回到“白百合&王珞丹”驗(yàn)證碼。

　　這些東西不是為了故意難為老老實(shí)實(shí)賣(mài)票的人的，而恰恰是為了阻止爬蟲(chóng)（也就是搶票軟件）的點(diǎn)擊。剛才說(shuō)了，爬蟲(chóng)只會(huì)簡(jiǎn)單的機(jī)械點(diǎn)擊，它不認(rèn)識(shí)白百何，所以很大一部分爬蟲(chóng)就被擋在了門(mén)外。

　　你可能會(huì)說(shuō)，不對(duì)啊，我現(xiàn)在還可以用搶票軟件搶到票啊。

　　沒(méi)錯(cuò)。搶票軟件也不是吃素的。 它們?cè)诤?2306搞“對(duì)抗”。

　　有一種東西叫做“打碼平臺(tái)”，你可以了解一下。

　　打碼平臺(tái)雇傭了很多叔叔阿姨，他們?cè)陔娔X屏幕前不做別的事情，專(zhuān)門(mén)幫人識(shí)別驗(yàn)證碼。那邊搶票軟件遇到了驗(yàn)證碼，系統(tǒng)就會(huì)自動(dòng)把這些驗(yàn)證碼傳到叔叔阿姨面前，他們手工選好哪個(gè)是白百何哪個(gè)是王珞丹，然后再把結(jié)果傳回去。總共的過(guò)程用不了幾秒時(shí)間。

　　當(dāng)然，這樣的打碼平臺(tái)還有記憶功能。如果叔叔阿姨已經(jīng)標(biāo)記了這張圖是“鍋鏟”，那么下次這張圖片再出現(xiàn)的時(shí)候，系統(tǒng)就直接判斷它是“鍋鏟”。時(shí)間一長(zhǎng)，12306系統(tǒng)里的圖片就被標(biāo)記完了，機(jī)器自己都能認(rèn)識(shí)，叔叔阿姨都可以坐在一邊斗地主了。

　　你可能會(huì)問(wèn)：為什么12306這么摳呢？它大方地讓爬蟲(chóng)隨意爬會(huì)死嗎？

　　答：會(huì)死。

　　你知道每年過(guò)年之前，12306被點(diǎn)成什么樣了嗎？公開(kāi)數(shù)據(jù)是這么說(shuō)的：“最高峰時(shí)1天內(nèi)頁(yè)面瀏覽量達(dá)813.4億次，1小時(shí)最高點(diǎn)擊量59.3億次，平均每秒164.8萬(wàn)次。”這還是加上驗(yàn)證碼防護(hù)之后的數(shù)據(jù)。可想而知被攔截在外面的爬蟲(chóng)還有多少。

　　況且這里還沒(méi)有討論，被搶票軟件把票搶走，對(duì)我們父母那樣的不會(huì)搶票的人來(lái)說(shuō)，是不是公平呢？

　　鐵路被爬蟲(chóng)“點(diǎn)雞”成這樣已經(jīng)夠慘了，但它還有個(gè)難兄難弟，就是航空。

　　而航空里，被搞得最慘的不是國(guó)航，不是海航，也不是東航。而是亞航。

　　看看航空類(lèi)爬蟲(chóng)的分布比例

　　很多人可能都沒(méi)坐過(guò)亞洲航空。這是一家馬來(lái)西亞的廉價(jià)航空公司，航線(xiàn)基本都是從中國(guó)各地飛往東南亞的旅游勝地，飛機(jī)上連礦泉水都得自費(fèi)買(mǎi)，是屌絲窮X度假之首選。

　　為什么爬蟲(chóng)這么青睞亞航呢？因?yàn)樗阋恕４_切地說(shuō)，因?yàn)樗?jīng)常放出便宜的票。

　　本來(lái)，亞航的初衷只是隨機(jī)放出一些便宜的票來(lái)吸引游客，但這里面黃牛黨是有利可圖的。

　　據(jù)我所知，他們是這樣玩的：

　　技術(shù)宅黃牛黨們利用爬蟲(chóng)，不斷刷新亞航的票務(wù)接口，一旦出現(xiàn)便宜的票，不管三七二十一先拍下來(lái)再說(shuō)。

　　亞航有規(guī)定，你拍下來(lái)半小時(shí)（具體時(shí)間記不清了）不付款票就自動(dòng)回到票池，繼續(xù)賣(mài)。但是黃牛黨們?cè)谂老x(chóng)腳本里寫(xiě)好了精確的時(shí)間，到了半小時(shí)，一毫秒都不多，他又把票拍下來(lái)，如此循環(huán)。直到有人從黃牛黨這里定了這個(gè)票，黃牛黨就接著利用程序，在亞航系統(tǒng)里放棄這張票，然后0.00001秒之后，就幫你用你的名字預(yù)定了這張票。

　　“我是中間商，我就要賺差價(jià)！”這波騷操作，堪稱(chēng)完美。

　　2、社交

　　社交的爬蟲(chóng)重災(zāi)區(qū)，就是你們喜聞樂(lè)見(jiàn)的微博。

　　給你看張圖：

　　這是爬蟲(chóng)經(jīng)常光顧的微博地址。

　　這里的代碼其實(shí)指向了微博的一個(gè)接口。它可以用來(lái)獲取某個(gè)人的微博列表、微博的狀態(tài)、索引等等等等。

　　獲得這些，能搞出什么騷操作呢？

　　你想想看，如果我能隨心所欲地指揮一幫機(jī)器人，打開(kāi)某人的微博，然后刷到某一條，然后瘋狂關(guān)注、點(diǎn)贊或者留言，這不就是標(biāo)準(zhǔn)的僵尸粉上班兒的流程么...

　　還有更騷的么？有的。

　　你家愛(ài)豆不是經(jīng)常在微博上發(fā)紅包么？好的，我率十萬(wàn)僵尸粉去搶。

　　憑本事?lián)寔?lái)的紅包，就問(wèn)你有什么不妥嗎？

　　除了這個(gè)，還有“果姐”（公眾號(hào)ID：HUGO）在《吳亦凡造假，他們才是受害者》一文中說(shuō)：微博號(hào)稱(chēng)3億用戶(hù)，結(jié)果關(guān)注安吉拉大寶貝的用戶(hù)1個(gè)億，關(guān)注楊冪的差不多1個(gè)億，還有1億人幫蔡徐坤在轉(zhuǎn)微博。

　　這些數(shù)據(jù)哪來(lái)的？結(jié)合爬蟲(chóng)想想吧~我就不多說(shuō)了。

　　3、電商

　　你回憶一下，有幾種東西叫做“比價(jià)平臺(tái)”“聚合電商”和“返利平臺(tái)”。他們大體都是一個(gè)原理：

　　你搜索一樣商品，這類(lèi)聚合平臺(tái)就會(huì)自動(dòng)把各個(gè)電商的商品都放在你面前供你選擇。有淘寶、京東，還有唯品會(huì)蘇寧易購(gòu)。

　　這就是爬蟲(chóng)的功勞。它們?nèi)ヌ詫毶希雅执我m子杜蕾斯的圖片和價(jià)格統(tǒng)統(tǒng)扒下來(lái)，然后在自己這里展示。

　　這個(gè)原理和搜索引擎差不多。只不過(guò)他們展示的不是網(wǎng)頁(yè)而是商品。 但是被放在一起比價(jià)，淘寶是拒絕的，京東也是拒絕的啊。

　　然鵝，由于機(jī)器爬蟲(chóng)模擬的是人的點(diǎn)擊，電商很難阻止這類(lèi)事情發(fā)生。他們甚至都不能向12306學(xué)習(xí)。

　　你想想看，如果你每點(diǎn)開(kāi)一個(gè)商品詳情，淘寶都讓你先分辨一次白百合和王珞丹，你肯定沒(méi)心情剁手，沒(méi)準(zhǔn)還要提刀去剁馬云呢。

　　4、搜索引擎黑帽

　　注意到我們智優(yōu)營(yíng)家在官網(wǎng)上寫(xiě)的seo優(yōu)化優(yōu)勢(shì)嗎？——人工白帽手法。

　　白帽手法會(huì)根據(jù)搜索引擎的喜好，將網(wǎng)站進(jìn)行調(diào)整修改，甚至還會(huì)要求重新做網(wǎng)站來(lái)符合搜索引擎的算法（里面包含了點(diǎn)擊次數(shù)、內(nèi)容質(zhì)量、網(wǎng)頁(yè)結(jié)果、代碼結(jié)構(gòu)等等很復(fù)雜的東西），讓善意“爬蟲(chóng)”去掃網(wǎng)站并把它搬運(yùn)出來(lái)，給用戶(hù)去展現(xiàn)看。 

　　而黑帽是造假，邊說(shuō)“走過(guò)路過(guò)別錯(cuò)過(guò)，這里都是高質(zhì)量?jī)?nèi)容很多用戶(hù)喜歡看啊，我們點(diǎn)擊可高啦！”，邊把“爬蟲(chóng)”騙過(guò)來(lái)搬運(yùn)，于是看自己的網(wǎng)站排名三天之內(nèi)甚至是一天，嗖嗖往上漲排到首頁(yè)了。

　　你覺(jué)得可以停了，不用做“優(yōu)化”了，結(jié)果排名又嗖嗖往下掉——這還是結(jié)果比較好的，如果用人工白帽手法就不用擔(dān)心這類(lèi)問(wèn)題（除開(kāi)搶的特別兇的核心詞哈~）；　　 

　　還有的運(yùn)氣不好，被查出來(lái)，那網(wǎng)站基本上就涼了，這個(gè)域名都別想再用。　　 

　　今天的課堂超時(shí)了，不過(guò)音樂(lè)老師請(qǐng)假，大家好好復(fù)習(xí)吧，啊哈哈~