作為科技圈小白，經常被數據搞得頭暈腦脹，數據打哪兒來?到哪兒去?能干什么?那么多數據怎么區分誰有用誰沒用?其實數據就在我們身邊，每個人都是數據的生產者，從人類文明誕生的那一刻起，數據就伴隨我們而生。今天這篇文章，小編就帶你查一查數據采集技術的水表。

　　一、數據從哪兒來

　　數據是通過采集的方式獲得的，但是采集過程并不簡單。比如，數據糧食有的是粗糧有的是細糧，能夠拿到細糧的概率太低了。為了篩選出真實有效的數據，大家通常的做法就是把粗糧先搞回來再加工，這種情況就導致花大力氣搞回來的糧食篩到最后能吃的不到10%。

　　而且，不是所有的數據都是現成的，有些情況下需要自給自足去種地，從撒子秧苗開始培育自己的數據，至于哪個環節出問題導致數據收成不好那都是靠天吃飯的隨機性了。

　　就算是自己動手豐衣足食也存在秧苗生長不統一的問題，數據有很大的主觀性，經常按照自己的想法長，大家都不一樣，那口感就不一致了，咱們以為這是一碗大米飯，可能最后出來的是雜豆飯。

　　二、數據到哪兒去

　　數據中隱藏著系統或設備運行的規律，也含有突發的狀態變更信息，更是潛藏著異?；驗碾y發生前細微的蛛絲馬跡。因此，它的用途非常廣泛，傳統行業中可以收集生產設備的運行狀態數據實現系統的監控和運維工作，信息產業中各種各樣的數據是支撐整個產業發展的基石，在未來，人工智能技術大規模應用到各行各業中，更是離不開豐富的數據支撐。

　　我們既然拿糧食比喻數據，那么數據對于人工智能來說就是吃到肚子里去。數據采集難度系數不低，我們怎么更簡便地得到數據，更快地解決人工智能的溫飽問題呢?聰明的人類又開始思考如何為自己快速搞到數據。

　　首先，我們可以自己搞一個高定制化的統一收割系統，用統一的機器做數據糧食收割效率非常高，但這也導致了最終的數據糧食雖然統一，完全沒有驚喜，畢竟收割機高度就是這么高，這一茬被收割，一些參差不齊的數據卻僥幸繼續野蠻生長無法收割。從下面的曲線可以看出：高度定制化可以帶來極簡的使用體驗，但也犧牲了靈活性。

　　極簡和靈活性如何取舍，還是要落地在場景中。按照2-8原則，80%的數據我們采用高端定制的模式來收割，剩下的20%的數據手動收割，這樣我們既能高效的獲取整齊劃一的糧食也能參雜一些小驚喜，兩全其美。

　　下面我們以網絡人工智能業務為例，來看看具體的操作：

　　網絡人工智能業務所使用的80%以上數據，是電信網絡的設備數據，所以這一部分可以直接進行網絡打通，系統自動完成對接協商、數據采集和標準化處理，使用者可直接獲取想要的小區性能指標，進入下一業務環節。

　　80%的數據采集場景做到了極簡，大部分用戶的體驗得到保障。剩下20%的場景，通過靈活通用的采集能力來解決，用戶配置數據源對接參數即可完成數據采集。

　　還有一些數據并不能通過簡單采集獲得，比如，無源設備、以及無法產生狀態數據的軟硬件系統，這就需要一波高端操作——探針自主采集。探針技術本身比較成熟，各行業都有廣泛應用，弊端是部署成本高、推廣難度大。探針技術也有軟硬之分，從名稱上就能看出，軟探針就是通過獨立可執行的軟件或可被集成的SDK，在用戶授權的情況下，采集網絡體驗數據。硬探針基本上就是傳感器、探測設備等，專業性較強，數據收集準確性高。

　　三、數據能干什么

　　數據能干的事情太多了，可以用來分析用戶喜好和需求，獲得對電信網絡真實客觀的使用反饋，能夠快速得知產品有何不足，對應更新更多的業務模式，能夠幫助實現業務改善。好的數據能夠幫助企業獲得更大對競爭力。但這些數據的背后是人，人的主觀性越強，需求就越明確，對產品能力的提升就越有幫助。這些數據就好比是食物中最頂端的高端食材，口感一流品質上乘，但是價格不菲。

　　如下圖所示：

　　體驗數據不好獲得，這些數據基本上要通過問卷調查、實驗、端側體驗指標采集等方式獲得，不僅成本高而且可獲得的數據量也有限。這就好像你是個網店賣家，辛苦做出的產品想要得到五星好評或真實超過10個字的評價感受，需要給客戶搞一個好評返現紅包。鑒于大家都比較忙，給有字評價的客戶依舊不多，那就需要用插補的方式，基于少量真實評價估計一個全部用戶的整體感受。

　　在網絡人工智能業務中，我們是如何獲得高質量數據的?首先，我們開發了專業的APP，對于用戶來說，除了能隨時感知自己所處網絡的速率和時延，還能針對室內覆蓋幫助用戶進行信號仿真，實現Wi-Fi的組網規劃，真正解決用戶的體驗問題，除此之外，還具備游戲的代入感和使用體驗，能更好的吸引用戶，實現網絡體驗數據的采集。其次，我們還提供了可基于有限采集數據，通過算法進行數據插補的能力，對于采樣點少或缺失的區域進行數據補充，該方法引入了地理統計計算的相關算法，在一定采樣條件下，插補的誤差RMSE小于5，高于物理測量設備的仿真結果。

　　四、保衛數據安全才是正經事

　　在開頭我們講過，數據采集有很多難處，在收集、存儲、傳輸上都需要更安全的環境。只有保障數據采集系統安全可靠，才能夠有效的保護數據需求者和提供者的權益。網絡人工智能在數據采集安全方面也做了不少針對性的措施。比如在數據收集環節的數據脫敏、最小采集范圍、密級控制等，避免“順手牽羊”;在傳輸過程中也提升了運輸大隊的軍火儲備和隱蔽能力，爭取讓劫匪找不到自己的數據，或者遇到劫道兒的也能從容迎戰保衛數據安全;在存儲環節的訪問控制和權限隔離等技術，避免越權訪問和數據泄露問題。

　　網絡人工智能在數據采集安全方面所做的措施如下圖所示：

　　隨著數據安全和隱私保護法規的不斷完善，應對數據安全的軟、硬件措施也逐步完善，每一個安全措施都是不斷完善的長久工程，數據安全沒有終點，只有與時俱進不斷進步，才能持續滿足人們對數據的安全感，從而更充分的發揮數據價值。

　　五、數據采集技術還在不斷成長

　　數據采集不是一蹴而就的，隨著產品或服務的迭代升級，各行業技術的發展，用戶需求的提升，政策法規的完善，數據采集技術在安全和隱私保護、數據可獲得性、體驗等都需要不斷演進發展。數據采集不僅是數字化轉型的基礎，還是人工智能的精神食糧，更需要做到保障數據通道的暢通無阻。

　　作為華為ICT基礎設施業務面向全球開發者的年度盛會，華為開發者大會2021(Cloud)將于2021年4月24日-26日在深圳舉行。本屆大會以#每一個開發者都了不起#為主題，將匯聚業界大咖、華為科學家、頂級技術專家、天才少年和眾多開發者，共同探討和分享云、計算、人工智能等最新ICT技術在行業的深度創新和應用。智能時代，每一個開發者都在創造一往無前的奔騰時代。世界有你，了不起!

　　點擊鏈接，了解大會詳細信息。https://developer.huaweicloud.com/HDC.Cloud2021.html