當我們談到大數據分析，首先需要確定數據分析的方向和擬解決的問題，然后才能確定需要的數據和分析范圍。大數據驅動的分析主要的挑戰不是技術問題，而是方向和組織領導的問題，要確定方向，提出問題，需要對行業做深入的了解。當然，大數據分析最核心的，關于數據的來源更是至關重要的。在數據量非常大的今天，如何以更高的效率獲取到分析所需要的數據，如何利用這些數據反應最真實的情況，是業內不斷探討的議題。接下來，小編就帶大家來了解下大數據分析及其數據來源。

[[202121]]

大數據分析

大數據分析，顧名思義，就是對規模巨大的數據進行分析，是研究大量的數據的過程中尋找模式，相關性和其他有用的信息，可以幫助企業更好地適應變化，并做出更明智的決策。

大數據分析的第一步是數據的“抽取—轉換—加載”(the Extract-Transform-Load，ETL)，這就是所謂的數據處理三部曲。該環節需要將來源不同、類型不同的數據如關系數據、平面數據文件等抽取出來，然后進行清潔、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。需要指出的是，盡管大數據分析有它的優勢，但是也有很大的局限性。很多時候，大數據產生的相關關系可能是虛假的，在完全隨機的數據中顯示了某些規律，因為數據的量非常大，可能產生向各個方向輻射的各種聯系，有可能會得到與事實完全相反的結論。但是只要數據足夠大，數據挖掘總能發現一些相關關系，可以幫助我們發現趨勢和異常情況。

數據來源

大數據分析的數據來源有很多種，包括公司或者機構的內部來源和外部來源。分為以下幾類：

1. 交易數據。包括POS機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、“企業資源規劃”(ERP)系統數據、銷售系統數據、客戶關系管理(CRM)系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。
2. 移動通信數據。能夠上網的智能手機等移動設備越來越普遍。移動通信設備記錄的數據量和數據的立體完整度，常常優于各家互聯網公司掌握的數據。移動設備上的軟件能夠追蹤和溝通無數事件，從運用軟件儲存的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)等。
3. 人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客、推特、維基、臉書、Linkedin等社交媒體產生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進行分析。
4. 機器和傳感器數據。來自感應器、量表和其他設施的數據、定位/GPS系統數據等。這包括功能設備會創建或生成的數據，例如智能溫度控制器、智能電表、工廠機器和連接互聯網的家用電器的數據。來自新興的物聯網(Io T)的數據是機器和傳感器所產生的數據的例子之一。來自物聯網的數據可以用于構建分析模型，連續監測預測性行為(如當傳感器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)等。
5. 互聯網上的“開放數據”來源，如政府機構,非營利組織和企業免費提供的數據。