[[153979]]

首先聲明，文章所有觀點不是什么定論，只是一家之言、個人觀點而已，不管是認同者還是不認同者歡迎理智交流。

緣起

之所以有這么一個話題，確實是有原因的。就在前幾天，我又收到了一個同行的郵件，是向我咨詢關(guān)于大數(shù)據(jù)方向的問題。

可能是我的博客–博客蟲|大數(shù)據(jù)博客的原因，可能是我錄制的一些大數(shù)據(jù)課程的原因，也可能是在這個圈子里話稍微的多一些。這半年多來，陸陸續(xù)續(xù)總有十幾個甚至于數(shù)十個相同話題的資訊郵件或者信息，無一例外：他們想涉足大數(shù)據(jù)這個領(lǐng)域，或者說已經(jīng)涉足大數(shù)據(jù)這個領(lǐng)域，只是不知道下一步該如何進行，很是迷茫。

恰巧一個最近一個在亞信的老友，有意向跳槽，他這兩年來基本做都是大數(shù)據(jù)BI領(lǐng)域多一些，對于Hive之類的比較熟悉，只是不知道將來跳槽具體往哪個方向去。

于是我想，這么多人都在糾結(jié)自己到底該在大數(shù)據(jù)領(lǐng)域中如何前行，面對于大數(shù)據(jù)這個看起來很泛的概念，并且有愈演愈亂的趨勢，我們確實需要好好的理一理。

于是就有了這個話題。這個圈子到底是干嗎的，涉及的技術(shù)到底有哪些，我們到底該如何入手，該如何進一步提升自己。

對于個人來說，很慶幸一畢業(yè)就在這個圈子里偷摸打滾，雖然不能說懂多少，但還是很愿意把自己的一些觀點分享給大家，能幫的上忙當然是好的，幫不上忙純當個人的吐槽了。

理清大數(shù)據(jù)的脈絡(luò)

我們先來理一理大數(shù)據(jù)這個圈子的脈絡(luò)，再言其它。

先來確定一個問題：我們所說的大數(shù)據(jù)，研究其的核心價值在哪里？

是的，這是一個很奇怪問題，像是在幾年前，大數(shù)據(jù)這個詞突然就火了，然后就一直火，然后火的一塌糊涂。我們再來思考一下這個問題，在數(shù)據(jù)量未增長到一定規(guī)模，或者說大家還沒有意識到數(shù)據(jù)成長到了一定規(guī)模，又或者說相關(guān)技術(shù)支撐尚未成熟的時期，數(shù)據(jù)被人關(guān)注的并不是太多。

在大數(shù)據(jù)技術(shù)日漸成熟時候，特別是以hadoop生態(tài)為代表的技術(shù)圈日漸豐富，在數(shù)據(jù)規(guī)模日漸增長的今天，對于數(shù)據(jù)研究的人也越來越多。

于是，越來越多的人投身其中。我們需要先明白我們的目的：挖掘數(shù)據(jù)中的價值。這里所謂的挖掘并不是狹義上的數(shù)據(jù)挖掘的概念，而是包括了對于雜亂數(shù)據(jù)的整理以期發(fā)現(xiàn)其體現(xiàn)的業(yè)務(wù)現(xiàn)狀，通過對大批數(shù)據(jù)的統(tǒng)計分析達到對業(yè)務(wù)的調(diào)整以及決策，通過對大批量數(shù)據(jù)的潛在關(guān)系或者趨勢的挖掘?qū)嵤┫嚓P(guān)個性化的策略等等。

說白了就兩個字，價值。不管是大的價值還是小的價值，我們需要從數(shù)據(jù)中獲利，這是我們的根本目標。也就是說，我們在大數(shù)據(jù)這個圈子里所干的一切，都是為了榨干數(shù)據(jù)潛藏的價值。

明白了核心價值所在，我們再來關(guān)注一下我們的研究實體–數(shù)據(jù)。

我們的數(shù)據(jù)從哪而來？我們的數(shù)據(jù)拿過來就可以用嗎？榨干數(shù)據(jù)的價值，用榨汁機榨嗎？數(shù)據(jù)到底該怎么處理？是的，我們要用到哪些技術(shù)？

圍繞怎么榨干數(shù)據(jù)這個問題，我們可以衍生出很多很多的問題，都是需要我們一一去解決的，這也就是為何很多人迷茫的直接原因。

雜亂無章，無從下手。這是很多新手或者說已經(jīng)身陷其中的程序猿都面臨的一個問題。

不可否認的是我們的研究實體始終是數(shù)據(jù)，我們是圍繞它在轉(zhuǎn)的，確定了這一點，剩下的問題，我們一個一個的來理。

數(shù)據(jù)從何而來？

對于這個問題，答案還是比較多的。

在此之前，雖然很多企業(yè)公司對于數(shù)據(jù)，并沒有很大的研究，但是潛意識的把那些產(chǎn)生的數(shù)據(jù)都收集起來了，如今在有能力研究或者進一步處理的前提下，這就是一個不可估量的數(shù)據(jù)量。在傳統(tǒng)的數(shù)據(jù)收集方式上，主要以現(xiàn)成文件或者傳統(tǒng)數(shù)據(jù)庫的方式體現(xiàn)。

企業(yè)公司線上業(yè)務(wù)產(chǎn)生的業(yè)務(wù)log。這應(yīng)該是最常見的一種數(shù)據(jù)來源，當前很大一部分同行處理的應(yīng)該都是這種數(shù)據(jù)。這種數(shù)據(jù)的格式主要是按時間切分的log文件。

互聯(lián)網(wǎng)公開數(shù)據(jù)。這部分數(shù)據(jù)源有以下幾個特點：獲取難度高，數(shù)據(jù)比較雜亂。想要使用這一部分數(shù)據(jù)，其成本也是相對較高的。所以，就目前來說能夠使用這部分數(shù)據(jù)的企業(yè)還是比較少的，但在未來它必定是一個主流數(shù)據(jù)來源。

除此之外，隨著移動互聯(lián)網(wǎng)的發(fā)展，移動終端帶來的數(shù)據(jù)也越來越多，成為一種新型的數(shù)據(jù)來源。當然進一步延伸，包括了各種智能終端產(chǎn)生的數(shù)據(jù)。

數(shù)據(jù)拿來就能用嗎？

答案顯然是否定的，就連怎么拿數(shù)據(jù)都是一個大問題。這就不得不說到一些大數(shù)據(jù)領(lǐng)域數(shù)據(jù)收集相關(guān)的技術(shù)了，比如比較流行的Scribe以及Flume等，他們都是為解決多節(jié)點日志收集而產(chǎn)生的解決方案。我們通常產(chǎn)生的數(shù)據(jù)都是分散在各個不同節(jié)點上的，我們需要用到這些數(shù)據(jù)，進一步從數(shù)據(jù)中提取價值，前提是能統(tǒng)一收集到這些數(shù)據(jù)。而這些開源的日志收集系統(tǒng)解決了分散數(shù)據(jù)如何集中的痛點。

此外，對于存儲在關(guān)系型數(shù)據(jù)庫中的傳統(tǒng)數(shù)據(jù)，我們需要通過一定的轉(zhuǎn)換，讓其導(dǎo)入到我們的大數(shù)據(jù)處理平臺中，比如數(shù)據(jù)倉庫中等等。這就涉及到一些數(shù)據(jù)轉(zhuǎn)換的開源系統(tǒng)，比如sqoop之類的。

而對于互聯(lián)網(wǎng)上公共數(shù)據(jù)，這就涉及到各種網(wǎng)絡(luò)爬蟲、網(wǎng)頁解析相關(guān)的技術(shù)。

并且對于絕大部分數(shù)據(jù)來說，在獲取之后并不能直接使用，典型如各種業(yè)務(wù)數(shù)據(jù)，我們需要進一步提取其中我們所需要的信息。而對于爬取的互聯(lián)網(wǎng)數(shù)據(jù)，更是紛雜凌亂，我們需要進一步的進行篩選，進一步的清洗，最終拿到有用的基礎(chǔ)數(shù)據(jù)。

對于數(shù)據(jù)的清洗、預(yù)處理，大規(guī)模離線處理典型如MapReduce，內(nèi)存處理典型如Spark Streming，數(shù)據(jù)流式處理典型如Storm等。

在數(shù)據(jù)傳遞的過程中，我們又涉及到了各種消息隊列；在整個數(shù)據(jù)平臺中，涉及到了分布式協(xié)調(diào)、分布式監(jiān)控、任務(wù)調(diào)度等相關(guān)的知識。

不管在各個環(huán)節(jié)也好，或者說最終處理的數(shù)據(jù)也好，我們需要進行存儲，這就涉及到分布式存儲、非關(guān)系型數(shù)據(jù)庫、大規(guī)模數(shù)據(jù)倉庫等相關(guān)的技術(shù)。

榨取數(shù)據(jù)的價值！

在數(shù)據(jù)經(jīng)過層層處理之后，終于到了我們的目的所在了。對于部分業(yè)務(wù)來說，在經(jīng)過精提純的數(shù)據(jù)已經(jīng)是可用的了，可以直接呈現(xiàn)了，這就直接體現(xiàn)了數(shù)據(jù)價值，不多說。

對于部分數(shù)據(jù)，我們需要進行進一步的統(tǒng)計分析，然后把握數(shù)據(jù)體現(xiàn)的業(yè)務(wù)趨勢、業(yè)務(wù)變化，這可以算是大數(shù)據(jù)BI的領(lǐng)域，也算是數(shù)據(jù)價值的體現(xiàn)。

而對于部分數(shù)據(jù)，不能直接使用，并且其數(shù)據(jù)直接體現(xiàn)的狀況對于我們并沒有太大的作用，這個時候我們需要進一步的挖掘其潛藏的價值。典型如個性化推薦，我們希望通過一定的數(shù)據(jù)模型，建立起現(xiàn)有數(shù)據(jù)與未來數(shù)據(jù)的關(guān)系，進一步實施我們個性化業(yè)務(wù)，提升商業(yè)利益。這也是一種數(shù)據(jù)價值的體現(xiàn)。

我們來梳理一下整個過程！

在最開始階段，我們進行初始數(shù)據(jù)的收集工作，根據(jù)不同的業(yè)務(wù)場景，可能會涉及到的一些技術(shù)領(lǐng)域：分散日志收集技術(shù)，諸如Scribe、Flume為代表的開源日志收集系統(tǒng)；數(shù)據(jù)消息傳遞相關(guān)的技術(shù)，各種開源的消息隊列MQ，諸如ActiveMQ、RocketMQ、Kafka等；各種爬蟲技術(shù)、網(wǎng)頁解析技術(shù)；數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)換技術(shù)，如Apache的Sqoop等；

在數(shù)據(jù)處理階段，通常我們會有兩種不同的處理方式，一種是在數(shù)據(jù)落地之前，我們進行預(yù)處理，典型如Storm為代表的實時處理系統(tǒng)，還有近一兩年比較火的Spark Streming；還有一種就是落地之后進行的批量離線處理，如Hadoop的MapReduce，以及使用Spark進行處理。當然，對于數(shù)據(jù)的預(yù)處理，并不是說一定要用到什么框架，但是這個過程肯定是需要的，我們需要對數(shù)據(jù)進行進一步得過濾、規(guī)整操作。

然后是數(shù)據(jù)的落地，對于規(guī)整之后的數(shù)據(jù)，我們需要進行落地存儲，然后才能做進一步的處理。對于一般性的大規(guī)模存儲，目前有很多開源的分布式文件系統(tǒng)方案，典型如HDFS，但更多的是存入數(shù)據(jù)倉庫中，或者一些NoSQL中。其中以Hadoop生態(tài)中的Hive以及Hbase為代表。

然后在整個數(shù)據(jù)被規(guī)整到存儲落地的過程中，是一整套完整的數(shù)據(jù)處理流程，是一個完善的數(shù)據(jù)處理平臺，我們可能還會涉及到一些分布式的協(xié)調(diào)系統(tǒng)，典型如Zookeeper；還涉及到一些分布式平臺的監(jiān)控，如Ganglia和Nagios的結(jié)合使用，以及Puppet、Zabbix等等相關(guān)技術(shù)。

然后接著就是數(shù)據(jù)的價值體現(xiàn)，對于部分業(yè)務(wù)來說，處理過的數(shù)據(jù)已經(jīng)是可以直接使用了，例如通過數(shù)據(jù)倉庫的操作，直接對外展現(xiàn)；而部分數(shù)據(jù)則是需要對其進行統(tǒng)計分析，例如通過對Hive的各種操作，生產(chǎn)的各種BI報表，我們則可以從中找到現(xiàn)有數(shù)據(jù)的規(guī)律，進而完善我們的業(yè)務(wù)策略；而部分業(yè)務(wù)則希望現(xiàn)有的數(shù)據(jù)對未來數(shù)據(jù)能夠產(chǎn)生影響，所以引入了各種數(shù)據(jù)深度挖掘的東西，例如在大規(guī)模數(shù)據(jù)挖掘場景下的Mahout以及Spark的MLlib等；還有部分業(yè)務(wù)則是想把這些數(shù)據(jù)作為一個搜索數(shù)據(jù)源，那這個時候我們會對數(shù)據(jù)索引化的操作。

在如上的這些過程中，雖然在使用的技術(shù)上可能會有所出入，但是這個基本流程是不變的。通過這個梳理，我們知道在這個過程中，我們會涉及到哪些流程，然后才能說在大數(shù)據(jù)的這個圈子里，我們到底該往哪個方面發(fā)展。

定位自己的位置

如上所言，在大數(shù)據(jù)整個領(lǐng)域中，涉及的東西很多，需要掌握的處理問題的思路也很多。但我們的精力是有限的。

我很慶幸自己一畢業(yè)就投身其中。最早開始接觸是構(gòu)建數(shù)據(jù)中心平臺，包括了一整套數(shù)據(jù)接入，實時處理以及離線處理的東西。在往后的工作中又陸續(xù)接觸到了大數(shù)據(jù)領(lǐng)域中數(shù)據(jù)倉庫以及數(shù)據(jù)大規(guī)模緩存相關(guān)的技術(shù)，逐漸補充我在大數(shù)據(jù)領(lǐng)域的空白，并且陸陸續(xù)續(xù)在NoSQL、搜索、網(wǎng)頁解析、爬蟲等方面也有所了解。而如今，一邊做著數(shù)據(jù)處理相關(guān)的工作，一邊依托于大規(guī)模的數(shù)據(jù)，在此基礎(chǔ)上進行數(shù)據(jù)潛在價值的挖掘，比如正在研究的推薦系統(tǒng)，熱度排名模型研究等等。

在整個體系中，其實也是可以分為兩類的，由于在這個圈子里大量使用了各種開源的平臺系統(tǒng)，因此對于平臺人員的需求量也是很大的，保證大規(guī)模集群以及平臺的正常運行，也是一個很有挑戰(zhàn)的事；然后就是純開發(fā)人員，需要考慮的東西就會更多一些。

對于初入這個領(lǐng)域的人來說，首先需要確定自己的興趣所在，然后結(jié)合如上所說的脈絡(luò)，找到自己的切入點，想一下子都整明白是不可能的，找準自己的興趣點，然后逐漸完善自己對大數(shù)據(jù)的認知體系。