數(shù)據(jù)科學領域新的功能不斷發(fā)展，并滲透到每個行業(yè)。隨著全球各組織開始數(shù)字化轉(zhuǎn)型，2019年出現(xiàn)了更多公司利用數(shù)據(jù)做出更好決策的趨勢。這里我們看一下預計在2020年會起飛的數(shù)據(jù)科學新趨勢。

[[286552]]

2019年是數(shù)據(jù)科學領域重要的一年 。 全世界各行各業(yè)的公司都在經(jīng)歷著數(shù)字化轉(zhuǎn)型，企業(yè)中的傳統(tǒng)業(yè)務流程，例如招聘、營銷、定價、戰(zhàn)略等，都通過數(shù)字科技的運用使其效率提高了10倍以上。 數(shù)據(jù)科學已成為數(shù)字化轉(zhuǎn)型不可或缺的組成部分。使用數(shù)據(jù)科學，組織不再需要根據(jù)預感、猜測或小型調(diào)查做出重要決策。取而代之的是，他們正在分析大量真實數(shù)據(jù)，以根據(jù)真實的、數(shù)據(jù)驅(qū)動的事實做出決策。這就是數(shù)據(jù)科學的全部意義所在——通過數(shù)據(jù)創(chuàng)造價值。

根據(jù)Google搜索趨勢，在過去5年中將數(shù)據(jù)集成到核心業(yè)務流程中的趨勢已經(jīng)顯著增長了四倍以上。

數(shù)據(jù)為公司提供了超越競爭對手的巨大優(yōu)勢。有了更多的數(shù)據(jù)和更好的數(shù)據(jù)科學家來使用它，公司可以獲取其競爭對手甚至可能不知道的市場信息，它已成為數(shù)據(jù)或滅亡的游戲。

過去5年Google搜索“數(shù)據(jù)科學”趨勢

在當今不斷發(fā)展的數(shù)字世界中，要在競爭中保持領先地位需要不斷的創(chuàng)新。專利已經(jīng)過時，而敏捷方法論(譯者注：也稱輕量級方法，它是一組開發(fā)方法的統(tǒng)稱)和快速捕捉新趨勢非常重要。

組織不能再依靠其堅如磐石的舊方法。如果出現(xiàn)諸如數(shù)據(jù)科學、人工智能、區(qū)塊鏈之類的新趨勢，則需要預先進行預測并迅速適應。

以下是2020年最熱門的4種數(shù)據(jù)科學趨勢。這些趨勢已在今年引起了越來越多企業(yè)的興趣，并將在2020年繼續(xù)增長。

(1)數(shù)據(jù)科學自動化

即便在當今的數(shù)字時代，數(shù)據(jù)科學仍然需要大量的手工作業(yè)。存儲、清理、可視化和探索數(shù)據(jù)，最后對數(shù)據(jù)進行建模以獲得實際結(jié)果。這些手工作業(yè)正在尋求自動化，于是數(shù)據(jù)科學自動化和機器學習已然興起 。

數(shù)據(jù)科學流程的幾乎每個步驟都已經(jīng)或正在變得自動化。

在過去的幾年中，自動數(shù)據(jù)清理已被廣泛研究。清理大數(shù)據(jù)通常會占用數(shù)據(jù)科學家的大部分昂貴時間，初創(chuàng)公司和大型公司(例如IBM)都提供了用于數(shù)據(jù)清理的自動化操作和工具。

數(shù)據(jù)科學的另一大部分(稱為特征工程)已遭受重大沖擊。Featuretools(譯者注：可自動構(gòu)造機器學習特征的Python庫)提供了自動特征工程的解決方案。最重要的是，諸如卷積和遞歸神經(jīng)網(wǎng)絡之類的現(xiàn)代深度學習技術(shù)無需手動特征設計即可學習其自身的特征。

最重要的自動化發(fā)生在機器學習領域。Data Robot和H2O已在行業(yè)通過提供終端到終端的機器學習平臺，使數(shù)據(jù)科學家對數(shù)據(jù)管理和模型更容易掌握，從而確立了自己地位。

用于自動模型設計和訓練的AutoML在2019年也蓬勃發(fā)展，因為這些自動模型已經(jīng)超越了較新的技術(shù)。尤其是Google，正在Cloud AutoML上投入重金。

總的來說，公司在構(gòu)建和購買用于自動化數(shù)據(jù)科學的工具和服務方面進行了大量投資，只要能讓這個過程更便宜、更容易。同時，這種自動化還適合規(guī)模較小和技術(shù)含量較低的組織，這些組織可以利用這些工具和服務來使用數(shù)據(jù)科學，而無需建立自己的團隊。

(2)數(shù)據(jù)隱私與安全

隱私和安全始終是技術(shù)領域中的敏感話題。所有公司都希望快速發(fā)展和創(chuàng)新，但是失去客戶對隱私或安全問題的信任可能是致命的。因此，他們被迫將其作為優(yōu)先事項，至少要做到不泄漏私人數(shù)據(jù)。

在過去的一年中，數(shù)據(jù)隱私和安全性已成為一個令人難以置信的熱門話題，因為巨大的公共黑客事件使這一問題更加嚴重。就在最近的2019年11月22日，在Google Cloud上發(fā)現(xiàn)了一個沒有安全性的公開服務器。該服務器包含12億條個人信息，包括姓名，電子郵件地址，電話號碼以及LinkedIn和Facebook個人資料信息。聯(lián)邦調(diào)查局也介入調(diào)查，它是有史以來較大的數(shù)據(jù)泄露事件之一。

它是在任何人都可以創(chuàng)建的Google Cloud服務器上。數(shù)據(jù)如何到達那里?它屬于誰?誰要為該數(shù)據(jù)的安全性負責?

雖然大家看到這個新聞之后不會刪除他們的LinkedIn和Facebook帳戶，但是確實引起了一些關(guān)注。消費者越來越關(guān)注將電子郵件地址和電話號碼提供給了誰。

能夠保證客戶數(shù)據(jù)私密性和安全性的公司會發(fā)現(xiàn)，他們說服客戶(通過繼續(xù)使用其產(chǎn)品和服務)向他們提供更多數(shù)據(jù)會更加容易。如果政府制定了任何要求為客戶數(shù)據(jù)提供安全協(xié)議的法律，這些公司還應該確保自己已經(jīng)做好了充分的準備。所以，許多公司選擇SOC2隱私性原則(譯者注：美國注冊會計師協(xié)會(AICPA) 制定的隱私保護審計標準)來證明其安全強度。

整個數(shù)據(jù)科學過程都由數(shù)據(jù)推動，但其中大多數(shù)不是匿名的。數(shù)據(jù)不僅代表原始數(shù)字，而且描述真實的人和真實的事物。如果使用不當，這些數(shù)據(jù)可能會助長全球隱私災難，并影響人們的日常生活。

隨著數(shù)據(jù)科學的發(fā)展，我們還將看到圍繞數(shù)據(jù)的隱私和安全協(xié)議的轉(zhuǎn)變。其中包括流程、法律以及建立和維護數(shù)據(jù)安全性和完整性的不同方法。如果網(wǎng)絡安全成為今年的流行語，也不足為奇。

(3)云中的超大型數(shù)據(jù)科學

多年以來，數(shù)據(jù)科學已經(jīng)從一個小眾市場發(fā)展成為為完整的領域，可用于分析的數(shù)據(jù)也呈爆炸式增長，組織正在收集和存儲比以往更多的數(shù)據(jù)。

一家典型的財富500強公司可能需要分析的數(shù)據(jù)量已經(jīng)遠遠超出了個人計算機的處理能力。像樣的個人電腦可能具有64GB的內(nèi)存、8核CPU和4TB的存儲空間。這對于個人項目來說效果很好，但是當您在一家擁有數(shù)百萬客戶數(shù)據(jù)的跨國公司(例如銀行或零售商)工作時，效果就不那么理想了。

所以，云計算進入數(shù)據(jù)科學領域。云計算使任何地方的任何人都可以訪問幾乎無限的處理能力。諸如Amazon Web Services(AWS)之類的云供應商提供了多達96個虛擬CPU內(nèi)核和高達768GB的內(nèi)存。可以將這些服務器設置在一個自動擴展組中，按所需的計算能力啟動或停止數(shù)百個服務器而不會產(chǎn)生太多延遲。

Google Cloud數(shù)據(jù)中心

除了計算之外，云計算公司還為數(shù)據(jù)分析提供了完善的平臺。Google Cloud提供了一個稱為BigQuery的平臺，該平臺是無服務器計算(譯者注：Serverless是一種構(gòu)建和管理基于微服務架構(gòu)的完整流程)且可擴展的數(shù)據(jù)倉庫，使數(shù)據(jù)科學家能夠在單個平臺上存儲和分析PB級的數(shù)據(jù)。BigQuery也可以連接到其他用于數(shù)據(jù)科學的谷歌云服務。使用Cloud Dataflow創(chuàng)建數(shù)據(jù)流傳輸管道，使用Cloud DataProc在數(shù)據(jù)上運行Hadoop或Apache Spark，或使用BigQuery ML在龐大的數(shù)據(jù)集上構(gòu)建機器學習模型。

從數(shù)據(jù)到處理能力的一切都在增長，隨著數(shù)據(jù)科學的成熟和數(shù)據(jù)量更加巨大，我們最終可能會完全在云上完成數(shù)據(jù)科學。

(4)自然語言處理

在深度學習研究領域取得重大突破之后，自然語言處理(NLP)已牢固地進入數(shù)據(jù)科學領域。

數(shù)據(jù)科學最初是對純原始數(shù)據(jù)的分析，因為這是處理數(shù)據(jù)并將其收集在電子表格中最簡單的方法。如果需要處理任何類型的文本，通常都需要將其分類或以某種方式轉(zhuǎn)換為數(shù)字。

然而，將一段文本壓縮為一個數(shù)字是非常困難的。自然語言和文本包含了豐富的數(shù)據(jù)和信息，由于缺乏將這些信息表示為數(shù)字的能力，因此我們常常會失去很多有用的信息。

深度學習在NLP中取得的巨大進步推動了NLP與常規(guī)數(shù)據(jù)分析的全面集成。現(xiàn)在，神經(jīng)網(wǎng)絡可以快速地從大量文本中提取信息。他們能夠?qū)⑽谋痉譃椴煌念悇e、確定關(guān)于文本的情感、并對文本數(shù)據(jù)的相似性進行分析。最后，所有這些信息都可以存儲在單個數(shù)字特征向量中。

NLP已成為數(shù)據(jù)科學中的強大工具。巨大的文本數(shù)據(jù)存儲，不僅可以是一個單詞的答案，還可以包含完整的段落，可以轉(zhuǎn)換為數(shù)值數(shù)據(jù)以進行標準分析?，F(xiàn)在，我們可以探索更為復雜的數(shù)據(jù)集。

例如，假設有一個新聞網(wǎng)站想要查看哪些主題正在獲得更多的觀看次數(shù)。如果沒有高級的NLP，那么所有關(guān)鍵詞都將失去作用，或者只是一個預感：為什么一個特定的標題相對于另一個標題效果很好?使用NLP，我們可以量化網(wǎng)站的文本，比較整個文本甚至是網(wǎng)頁的各個段落，以獲得更全面的見解。

總結(jié)

整體而言，數(shù)據(jù)科學仍在發(fā)展，它將會嵌入每個行業(yè)(無論是技術(shù)行業(yè)還是非技術(shù)行業(yè))以及每個業(yè)務(無論大小)。隨著該領域的長期發(fā)展，看到它成為我們軟件工具箱中的常用工具并被大眾大規(guī)模使用使用也就不足為奇了。