大數據技術更需青年人的力量
原創【51CTO綜合報道】微軟“編程之美全國挑戰賽”日前在北京落下帷幕。本次大賽以“大數據的可視化處理”為主題,共吸引了來自全國50多所高校的3850名同學參加,經過幾輪激烈的角逐,最終有10位幸運者獲得了微軟的實習機會。
2012年6月6日,記者有幸在北京中關村微軟亞太研發集團大廈內見到了這些出類拔萃的參賽者和他們的作品。根據參賽要求,他們需要在規定時間內,完成對相應數據量的處理和分析。整個過程只限定大數據可視化處理的大方向,其他細節不做更多限制。
活動當天,記者觀看了幾位參賽者的大數據處理DEMO,發現不少同學的集中點是放在大數據信息的圖形化展示上,或者對數據的初步篩選。雖然在后期綜合分析處理的思路上有所欠缺,但已初見大數據處理的雛形。
IEEE標準協會董事Ted Olsen先生與51CTO記者一同觀看Demo
IEEE標準協會董事Ted Olsen先生在與51CTO記者同時觀看一位參賽者的DEMO時,對于大數據方面的進步表現得非常激動。Ted先生說:“我年輕時做過Coder,在我寫代碼的那個年代,需要將不同的代碼按照不同的顏色進行分類,數據也是如此。現在,即使是海量數據都已經可以做到瞬間處理完成。大數據技術在類似能源、交通領域的應用將潛力巨大。”
當51CTO記者與上海交通大學的黃偲進行交流時,發現他的大數據可視化處理Demo有其獨特之處。首先,黃同學的Demo除了有簡單的圖標分析外,還有不同用戶的相似度分析。比如B75號用戶喜好的論文作者,與B156號用戶的喜好類似。那么在B75號用戶的界面,就能看到一些跟他喜好相似的用戶提示。這有點類似SNS網站中的好友推薦功能。盡管這個功能不是什么新鮮事物,但能夠想到并設計出權值計算公式來完成,確實有其與眾不同的地方。
其次,在Demo中,黃同學還應用了學術圈的概念,論文作者最終會形成一個類似集群的組織。作者之間會有自己的聯系線,這些線產生的原因是他們都在研究相似的科學命題。最終在黃同學的學術圈邏輯圖上,我們能看到一個學術圈總會有一個“核心”人物,也就是我們常識中的大牛。他的研究與其他人都有很強的聯系。而不同的學術圈,會通過一到兩個跨學術領域的個人聯系起來。這樣的數據分析,有點大數據最終數據挖掘的味道了。不出所料,黃偲同學摘得大賽桂冠,獲得了赴美參加電氣電子工程師學會(IEEE)大會和前往微軟總部參觀的機會。
類似黃同學這樣具備很強發散思維和奇思妙想的青年人,會成為未來大數據領域的新動力。大賽評委會主席鄒欣認為,此次參賽選手技術能力強,功底深厚,思維靈活,并能將各學科知識融會貫通,在軟件開發方面潛力巨大。他特別指出:“希望未來的參賽選手能更具有冒險精神,勇于挑戰難度較高的競賽題目。現代軟件開發已經進入團隊協作的時代,同學們需要增強自己學習和理解已有程序代碼的能力,這將有助于他們更快地成長。”
大數據盡管被提出的時間不短,但相關實踐還更多的集中在萌芽階段。51CTO已經關注到類似Google Bigquery這樣的大數據實際應用。但考慮到未來大數據技術的發展,我們期待更多類似微軟“編程之美全國挑戰賽”這樣的活動來挖掘更多的青年力量。