歷時三個月之久的中數經緯爬蟲PK賽已圓滿結束。本次大賽面向全國開發者、爬蟲愛好者、在校學生展開爬蟲技能PK。大賽從啟動，推廣，招募，提交報名，作品實現，改進，評選等整個流程，得到眾多企業和媒體的關注。

[[249498]]

中數經緯首席科學家、中數經緯算法專家團集中這3天時間，配置環境，執行完所有參賽者提交的作品程序。從代碼是否可運行、算法、數據質量、數據抓取效率等五大方面進行綜合打分。

在提到參賽作品質量時，專家團表示：

“數據分析和展示這方面做的出乎意料，有幾位參賽者不僅有可視化展示，還搭建了web框架，這是難能可貴的。另外爬取數據源的范圍也比較廣泛，涉及新聞、影評、論壇、貼吧、視頻，圖片網站、簡歷、以及房產等各個行業的信息。然而有所欠缺的是反爬技術體現不是很充分，有些數據質量還有待清洗。雖然比賽是關于爬蟲的，但是數據最終是拿來用的，價值挖掘始終是原則，我們公司也一直以“把無序變有序，讓數據有價值”的核心理念來為各個行業服務的。爬蟲與反爬蟲相互依賴，祝愿大家技術精進，工作順利！“

獲獎名單

專家團對可執行的程序代碼進行了逐一點評。

1、

薛祥，ETL工程師。B站流量在中文網站排名中名列前茅, 視頻數量眾多, 用戶活躍度高, 對于B站的用戶和視頻抓取, 分析用戶和視頻信息, 對此進行可視化, 可以幫助我們了解該網站。

專家點評：這個項目是我們公認最好最完整的，其中涉及到數據采集，清洗，分析，以及數據可視化，另外還有前端后端協同展現，基本算得上是全棧開發了。

綜合得分：26分，榮獲一等獎。

運行結果如下圖

2、

張建華，湖北師范大學，計算機科學與技術專業，大三學生，學Python快一年了。我爬取的是貓眼APP評論和用戶信息，公眾號主要分享學習筆記，認識朋友。

專家點評：這個項目也是比較優秀的，前期跟進的時候對作者基本有所了解，項目作者是一個自學能力和執行力很強的在校生，項目涉及數據采集，數據分析和可視化，思路很清晰。

綜合得分：24分，榮獲二等獎。

運行結果如下圖

3、

尹強，Python爬蟲工程師。我爬取的是拉鉤/房產信息。

專家點評：項目涉及拉鉤招聘信息和房產信息，爬蟲技術有驗證碼識別，自建自維護代理。數據做了清洗質量很好?？吹贸鰜硎莻€爬蟲經驗者，有豐富的反阻爬經驗。希望作者以后能在數據分析方面取得更好的成就。

綜合得分：24分，榮獲二等獎。

運行結果截圖

4、

盧文龍，數據產品經理。我比較關注數據變現及數據價值挖掘，通過這次比賽，我在數據爬取內容如何在個人層面變現進行了一些思考，發現爬取東方財富股吧用于做為投資參考值的嘗試下，很多軟件也會提供一些類似的參考分析，但里面算法很多不知其所以然，且收費的多，不如自己搞一搞。最后在爬蟲技術，NLP技術，數據挖掘，理財投資方面都得到了鍛煉和提高。

專家點評：這是本次比賽中唯一一個爬取金融數據的項目，因為諸多直接利益的驅動，目前金融行業大數據應用是比較廣泛的，從數據挖掘到機器學習各種技術都在這個行業競相綻放。東方財富對爬蟲還算友好，數據質量很好，希望能在分析方面及預測方面下功夫，找到突破，獲得更高的成就感。

綜合得分：23分，榮獲二等獎。

運行結果如下圖

5、

杜寬 爬蟲愛好者

感謝中數經緯舉辦的爬蟲PK賽，讓我重拾了自己的爬蟲項目，也認識了很多做爬蟲的朋友，經過這次比賽，自己對反爬蟲和反反爬蟲又有了新的認知，也讓自己在這場沒有硝煙的戰爭中更上一層樓。

爬取京東、淘寶的商品數據和評論。感謝scrapy提供的分布式爬蟲框架，讓數據采集變得如此簡單，再龐大的數據汪洋，也能得心應手。

專家點評：從提交項目GitHub上來看，作者是一個經驗很豐富的爬蟲工程師，電商，問答，招聘網站都曾涉獵過。可以互相交流，共同學習。不足之處，項目運行環境太復雜。

綜合得分：21分，榮獲三等獎。

6、

張正，軟件工程師。我爬的是一個網站，斗圖網吧，斗圖表情包。

專家點評：現在微信群聊和自媒體平臺對表情圖都有一種依賴，表情圖確實有一種不言其義卻明其理的魔力，能有效提升社交效率。這個項目就是抓取斗圖吧的數據，數據質量還不錯，應用價值比較高。

綜合得分：20分，榮獲三等獎。

運行結果如下圖

7、

張俊川，爬蟲愛好者。我爬取的是豆瓣，10條數據，url記錄，重在參與。

專家點評：豆瓣是每個爬蟲初學者最喜歡的地方，因為她總是那么的友好。作者是個爬蟲愛好者，希望通過本次比賽你能學到更多爬蟲知識，結識更多技術大牛。

綜合得分：19分，榮獲三等獎。

8、

符露，C++爬蟲工程師。參賽作品是爬取Facebook數據。

專家點評：Facebook是在全球范圍內使用比較廣泛的社交軟件，所以每天數據產量也是很大的。項目抓取了用戶發文信息，并做了清洗處理。

綜合得分：18分，榮獲三等獎。

9、

常懷德，Python爬蟲工程師。爬的微博用戶信息。

專家點評：項目是通過某用戶關注和粉絲抓取微博用戶的個人信息，包括粉絲，關注，發文，地址，性別等字段。數據質量很好，希望可以用大量數據做簡單分析及可視化。

綜合得分：18分，榮獲三等獎。

10、張學文，運維工程師。爬取今日頭條新聞數據，只是我用到一個優化textrank算法，主要就是針對這個算法解決問題。

專家點評：這個項目作者提供了兩種抓取方案，一種是常規爬取，另外一種是seleniume結合JS爬取。希望能優化textrank算法，能在數據分析和可視化方面有所提高。

綜合得分：17分，榮獲優秀獎。

運行結果如下圖

11、

李建國，PHP開發工程師。爬取金華當地比較知名的一個本地社區論壇。

專家點評：這個項目是用PHP來爬取的，也是唯一一個python外的語言，很新穎，那……PHP真的是最好的語言嗎？從技術來看這個項目更像是個練手的項目，希望能完善各個功能。

綜合得分：16分，榮獲優秀獎。

12、

劉海濱，C++爬蟲工程師。爬取網易云音樂評論。

專家點評：抓取某熱門音樂的評論信息，有清洗處理，生成簡單云圖。

綜合得分：16分，榮獲優秀獎。

13、

吳樂偉，Python爬蟲工程師。爬取新聞網站。

專家點評：這個項目是抓取各大新聞網站，技術難點是各大新聞平臺的結構和版式都是不一樣的，需要用算法盡量精準地匹配各個字段。目前項目還不算很成熟，需要數據和經驗不斷積累的過程中不斷完善。

綜合得分：16分，榮獲優秀獎。

14、

張乃馳，爬蟲愛好者。爬取微信公眾號內容。

專家點評：項目通過搜狗接口抓取指定公眾號歷史數據，采集難度不大，有清洗處理，數據質量很好。

綜合得分：16分，榮獲優秀獎。

15、

任然然，PHP開發工程師。爬取大眾點評轟趴館點評數據。

專家點評：大眾點評也是爬蟲訪問比較多的網站，但是最近大眾點評將評論信息加密處理了，爬取難度加大了不少。項目有解密過程但是不盡完善，數據有缺失。

綜合得分：15分，榮獲優秀獎。

16、

黃帥，開發工程師。爬取CSDN首頁資訊。

專家點評：抓取了CSDN的首頁信息，有清洗處理。希望能按技術類別抓取各個技術欄目的博文信息。

綜合得分：14分，榮獲優秀獎。

17、

臧闊，運維工程師。爬取貼吧內容。

專家點評：項目是抓取某個活躍貼吧的發帖內容，并做了簡單的文本分析，數據中的表情符希望能處理一下。

綜合得分：14分，榮獲優秀獎。

18、

楊振原，數據研究員。爬取天涯論壇數據。

專家點評：項目通過某關鍵詞抓取相關論壇信息，能精準抓取某行業談論信息。希望有簡單數據分析及可視化展現。

綜合得分：13分，榮獲優秀獎。

19、

秦猛，爬蟲愛好者。爬取騰訊新聞客戶端。

專家點評：抓取首頁新聞鏈接信息，然后再深入爬取文章詳情頁。希望能添加簡單文本分析。

綜合得分：13分，榮獲優秀獎。

20、

可心，Python爬蟲工程師。爬取京東評論內容。

專家點評：抓取某熱門商品的評論信息，希望能做簡單可視化分析處理。

綜合得分：12分，榮獲優秀獎。

21、

郭繼超，時間原因，GitHub項目來不及完善。

閱讀原文查看具體獎勵機制：

http://www.chinadata8.com/reptilian_competition.html

請將收貨地址發送給中數經緯小官（微信號xingbali123356789），我們將盡快為您郵寄大賽獎品。截止到11月19日沒有發送地址的獲獎者將視為自動放棄獎品。再次感謝您對中數經緯爬蟲PK賽的關注與支持！ 如果您正在尋找就業機會，歡迎加入我們。

http://www.chinadata8.com  把無序變有序 讓數據有價值

電話： 010-88430890

郵箱： kefu@chinada ta8.com