成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數據科學研究的現狀與趨勢全解

大數據
大數據時代的到來催生了一門新的學科——數據科學。首先,本文探討了數據科學的內涵、發展簡史、學科地位及知識體系等基本問題,并提出了專業數據科學與專業中的數據科學之間的區別與聯系。

大數據時代的到來催生了一門新的學科——數據科學。首先,本文探討了數據科學的內涵、發展簡史、學科地位及知識體系等基本問題,并提出了專業數據科學與專業中的數據科學之間的區別與聯系;其次,分析現階段數據科學的研究特點,并分別提出了專業數據科學、專業中的數據科學及大數據生態系統中的相對熱門話題;接著,探討了數據科學研究中的10個爭議及挑戰:

  1. 思維模式的轉變(知識范式還是數據范式)
  2. 對數據的認識(主動屬性還是被動屬性)
  3. 對智能的認識(更好的算法還是更多的數據)
  4. 主要瓶頸(數據密集型還是計算密集型)
  5. 數據準備(數據預處理還是數據加工)
  6. 服務質量(精準度還是用戶體驗)
  7. 數據分析(解釋性分析還是預測性分析)
  8. 算法評價(復雜度還是擴展性)
  9. 研究范式(第三范式還是第四范式)
  10. 人才培養(數據工程師還是數據科學家)。

再次,提出了數據科學研究的10個發展趨勢:預測模型及相關分析的重視、模型集成及元分析的興起、數據在先,模式在后或無模式的出現、數據一致性及現實主義的回歸、多副本技術及靠近數據原則的廣泛應用、多樣化技術及一體化應用并存、簡單計算及實用主義占據主導地位、數據產品開發及數據科學的嵌入式應用、專家余及公眾數據科學的興起、數據科學家與人才培養的探討。最后,結合本文工作,為數據科學研究者給出了幾點建議和注意事項。

大數據正在改變著人們的工作、生活與思維模式,進而對文化、技術和學術研究產生了深遠影響。一方面,大數據時代給各學科領域帶來了新的機遇——認識論和研究范式的轉變,出現了一種區別于傳統科學研究中沿用至今的“知識范式”的新研究范式——“數據范式”。

“數據范式”的廣為應用成為現代科學研究的一個重要轉變。另一方面, 大數據帶來的挑戰在于數據的獲得、存儲、計算不再是瓶頸或難題,各學科領域中的傳統知識與新興數據之間的矛盾日益突出,傳統知識無法解釋和有效利用新興的大數據,進而促使傳統理論與方法的革命性變化。

目前,大數據已受到各學科領域的高度關注,成為包括計算機科學和統計學在內的多個學科領域的新研究方向,表現出不同專業領域中的數據研究相互高度融合的趨勢,進而即將獨立出一門新興學科——數據科學。

同時,大數據研究中仍存在一些誤區或曲解,如片面追求數據規模、過于強調計算架構和算法、過度依賴分析工具、忽視數據重用、混淆數據科學與大數據的概念以及全盤否定大數據等。因此,現代社會需要一門新學科來系統研究大數據時代的新現象、理念、理論、方法、技術、工具和實踐,即“數據科學”。

本文第1節探討數據科學的內涵、發展簡史、學科地位和知識體系等四個基本問題,并提出了數據科學的兩個基本類型——專業數據科學和專業中的數據科學。

第2節提出現階段數據科學研究的特點——本質問題的系統研究較少,反而周邊問題的討論較多,并分別分析了專業數據科學、專業中數據科學以及大數據生態系統中的相對熱門話題。

第3節探討數據科學研究中的10個爭議——思維模式的轉變(知識范式還是數據范式)、對數據的認識視角(主動屬性還是被動屬性)、對智能的認識側重點(更好的算法還是更多的數據)、主要瓶頸(數據密集型還是計算密集型)、數據準備(數據預處理還是數據加工)、服務質量(精準度還是用戶體驗)、數據分析(解釋性分析還是預測性分析)、算法評價(復雜度還是擴展性)、研究范式(第三范式還是第四范式)和人才培養(數據工程師還是數據科學家),并分別提出了研究挑戰。

第4節分析了數據科學研究的10個發展趨勢——預測模型及相關分析的重視、模型集成及元分析的興起、數據在先,模式在后或無模式的出現、數據一致性及現實主義的回歸、多副本技術及靠近數據原則的應用、多樣化技術及一體化應用并存、簡單計算及實用主義占據主導地位、數據產品開發及數據科學的嵌入式應用、專家余及公眾數據科學的興起以及數據科學家與人才培養的探討。

最后總結全文,并對數據科學研究者提出了幾點建議。

一、數據科學:大數據背后的科學

 

\

“數據科學”與“大數據”是兩個既有區別又有聯系的術語,可以將數據科學理解為大數據時代一門新科學,即以揭示數據時代,尤其是大數據時代新的挑戰、機會、思維和模式為研究目的,由大數據時代新出現的理論、方法、模型、技術、平臺、工具、應用和最佳實踐組成的一整套知識體系。

1. 數據科學的內涵及興起

1974年,著名計算機科學家、圖靈獎獲得者Peter Naur在其著作《計算機方法的簡明調研(Concise Survey of Computer Methods)》的前言中首次明確提出了數據科學(Data Science)的概念,“數據科學是一門基于數據處理的科學”,并提到了數據科學與數據學(Datalogy)的區別——前者是解決數據(問題)的科學(the science of dealing with data),而后者側重于數據處理及其在教育領域中的應用(the science of data and of data processes and its place in education)。

Peter Naur首次明確提出數據科學的概念之后,數據科學研究經歷了一段漫長的沉默期。直到2001年,當時在貝爾實驗室工作的William S. Cleveland在學術期刊International Statistical Review上發表題為《數據科學——拓展統計學技術領域的行動計劃(Data Science: an Action Plan for Expanding the Technical Areas of the Field of Statistics》的論文,主張數據科學是統計學的一個重要研究方向,數據科學再度受到統計學領域的關注。

之后,2013年,Mattmann C A和 Dhar V在《自然(Nature)》和《美國計算機學會通訊(Communications of the ACM)》 上分別發表題為《計算——數據科學的愿景(Computing: A vision for data science)》和《數據科學與預測(Data science and prediction)》論文,從計算機科學與技術視角討論數據科學的內涵,使數據科學納入計算機科學與技術專業的研究范疇。

然而,數據科學被更多人關注是因為后來發生了三個標志性事件:一是Patil DJ和 Davenport T H于2012年在哈佛商業評論上發表題為《數據科學家——21世紀最性感的職業(Data scientist: the sexiest job of the 21st century)》;二是2012年大數據思維首次應用于美國總統大選,成就奧巴馬,擊敗羅姆尼,成功連任;三是美國白宮于2015年首次設立數據科學家的崗位,并聘請Patil DJ作為白宮第一任首席數據科學家。

Gartner的調研及其新技術成長曲線(Gartner's 2014 Hype Cycle for Emerging Technologies)表示,數據科學的發展于2014年7月已經接近創新與膨脹期的末端,將在2~5年之內開始應用于生產高地期(plateau of Productivity)。

同時,Gartner的另一項研究揭示了數據科學本身的成長曲線(Hype Cycle for Data Science),如圖1所示。從圖1可以看出,數據科學的各組成部分的成熟度不同:R的成熟度最高,已廣泛應用于生產活動;其次是模擬與仿真、集成學習、視頻與圖像分析、文本分析等,正在趨于成熟,即將投入實際應用;基于Hadoop的數據發現可能要消失;語音分析、模型管理、自然語言問答等已經渡過了炒作期,正在走向實際應用;公眾數據科學、模型工廠、算法市場(經濟)、規范分析等正處于高速發展之中。

 

\
圖1 數據科學的成長曲線(2016)

2. 數據科學的學科地位

2010年,Drew Conway 提出了第一張揭示數據科學的學科地位的維恩圖——《數據科學維恩圖(The Data Science Venn Diagram)》(圖2),首次明確探討了數據科學的學科定位問題。在他看來,數據科學處于統計學、機器學習和領域知識的交叉之處。后來,其他學者在此基礎上提出了諸多修正或改進版本,如圖3是Jerry Overton于2016年給出的數據科學維恩圖。但是,后續版本對數據科學的貢獻和影響遠不及Drew Convey首次提出的數據科學維恩圖。

 

\
圖2 Drew Conway的數據科學韋恩圖(2010)  圖3 Jerry Overton的數據科學韋恩圖(2016)

從Drew Conway的《數據科學維恩圖》的中心部分可看出,數據科學位于統計學、機器學和某一領域知識的交叉之處,具備較為顯著的交叉型學科的特點,即數據科學是一門以統計學、機器學習和領域知識為理論基礎的新興學科。同時,從該圖的外圍可看出,數據科學家需要具備數學與統計學知識、領域實戰和黑客精神,說明數據科學不僅需要理論知識和實踐經驗,而且還涉及黑客精神,即數據科學具有三個基本要素:理論(數學與統計學)、實踐(領域實務)和精神(黑客精神)。

3. 數據科學的知識體系

從知識體系看,數據科學主要以統計學、機器學習、數據可視化以及(某一)領域知識為理論基礎,其主要研究內容包括數據科學基礎理論、數據加工、數據計算、數據管理、數據分析和數據產品開發,如圖4所示。

 

\
圖4 數據科學的知識體系

基礎理論:主要包括數據科學中的新理念、理論、方法、技術及工具以及數據科學的研究目的、理論基礎、研究內容、基本流程、主要原則、典型應用、人才培養、項目管理等。需要特別提醒的是,“基礎理論”與“理論基礎”是兩個不同的概念。數據科學的“基礎理論”在數據科學的研究邊界之內,而其“理論基礎”在數據科學的研究邊界之外,是數據科學的理論依據和來源。

數據加工(Data Wrangling 或Data Munging):數據科學中關注的新問題之一。為了提升數據質量、降低數據計算的復雜度、減少數據計算量以及提升數據處理的精準度,數據科學項目需要對原始數據進行一定的加工處理工作——數據審計、數據清洗、數據變換、數據集成、數據脫敏、數據歸約和數據標注等。值得一提的是,與傳統數據處理不同的是,數據科學中的數據加工更加強調的是數據處理中的增值過程,即如何將數據科學家的創造性設計、批判性思考和好奇性提問融入數據的加工活動之中。

數據計算:在數據科學中,計算模式發生了根本性的變化——從集中式計算、分布式計算、網格計算等傳統計算過渡至云計算。比較有代表性的是Google三大云計算技術(GFS、BigTable和MapReduce)、Hadoop MapReduce、Spark和YARN。計算模式的變化意味著數據科學中所關注的數據計算的主要瓶頸、主要矛盾和思維模式發生了根本性變化。

數據管理:在完成“數據加工”和“數據計算”之后,還需要對數據進行管理與維護,以便進行(再次進行)“數據分析”以及數據的再利用和長久存儲。在數據科學中,數據管理方法與技術也發生了重要變革——不僅包括傳統關系型數據庫,而且還出現了一些新興數據管理技術,如NoSQL、NewSQL技術和關系云等。

數據分析:數據科學中采用的數據分析方法具有較為明顯的專業性,通常以開源工具為主,與傳統數據分析有著較為顯著的差異。目前,R語言和Python語言已成為數據科學家較為普遍應用的數據分析工具。

數據產品開發:“數據產品”在數據科學中具有特殊的含義——基于數據開發的產品的統稱。數據產品開發是數據科學的主要研究使命之一,也是數據科學區別于其他科學的重要區別。與傳統產品開發不同的是,數據產品開發具有以數據為中心、多樣性、層次性和增值性等特征。數據產品開發能力也是數據科學家的主要競爭力之源。因此,數據科學的學習目的之一是提升自己的數據產品開發能力。

4. 專業數據科學及專業中的數據科學

數據科學是一門與領域知識和行業實踐高度交融的學科。從目前的研究現狀看,數據科學可以分為兩類:專業數據科學與專業中的數據科學。其中,“專業數據科學”是以獨立學科的形式存在,與其他傳統學科(如計算機科學、統計學、新聞學、社會學等)并列的一門新興科學;“專業中的數據科學”是指依存于某一專業領域中的大數據研究,其特點是與所屬專業的耦合度較高,難以直接移植到另一個專業領域,如數據新聞(Data Journalism)、材料數據科學(Materials Data Science)、大數據金融(Big Data Finance)、大數據社會、大數據倫理(Big Data Ethics)和大數據教育(Big Data Education)等。

專業數據科學與專業中的數據科學的聯系如下:專業數據科學聚集了不同專業中的數據科學中的共性理念、理論、方法、術語與工具;相對于專業中的數據科學,專業數據科學更具有共性和可移植性,并為不同專業中的數據科學研究奠定了理論基礎;專業中的數據科學代表的是不同專業中對數據科學的差異性認識和區別化應用。

二、數據科學的研究熱點

 

\

目前,數據科學的研究特點是對本質問題的系統研究少,然而對周邊問題的討論較多,可從以下四個方面進行分類分析。

1. 周邊問題仍為研究熱點

從文獻分布看,數據科學的研究主題可以分為兩類:核心問題和周邊問題。前者代表的是數據科學的基礎理論——數據科學特有的理念、理論、方法、技術、工具、應用及代表性實踐;后者代表的是數據科學的底層理論(理論基礎,如統計學、機器學習等)、上層應用(應用理論,如數據新聞、大數據金融、大數據社會、大數據生態系統等)以及相關研究(如云計算、物聯網、移動計算等)。

文獻數量和研究深度表明,現階段的數據科學研究熱點仍聚焦在周邊問題的討論之上,而對數據科學的核心問題的研究遠遠不夠。數據科學的周邊問題的研究主要集中在:

  1. 大數據挑戰及數據科學的必要性。在大數據時代,挑戰和機會并存:挑戰不僅來自于數據量(Volume),而且還涉及其多個V特征,如種類多(Variety)、速度要求高(Velocity)和價值密度低(Value)。因此,社會與科技的發展亟待一門新的學科——數據科學,并對大數據時代的新問題和新思路進行系統研究。
  2. 數據科學對統計學和計算機科學的繼承與創新。一方面數據科學作為新的研究方向,進一步拓展了統計學和計算機科學與技術的研究范疇;另一方面,數據科學不僅繼承了統計學和計算機科學等基礎理論,而且對其進行了創新與發展,逐漸成為一門獨立學科。
  3. 新技術在數據科學中的重要地位。云計算、物聯網、移動計算等新技術的興起拓展了人的數據獲取、存儲和計算能力,促使大數據時代的到來,成為數據學科誕生的必要條件。同時,數據科學中需要重點引入Spark、Hadoop、NoSQL等新興技術,從而更好地面對大數據挑戰。新技術的應用意味著數據科學對數據及其管理的認識發生了根本性變化——不僅開始接受了數據的復雜性,而且數據管理的理念從傳統的完美主義者轉向現實主義,“數據在先,模式在后或無模式”的數據管理范式、BASE原則以及CAP理論等新理念已成為數據科學的基本共識。
  4. 數據科學對特定領域的影響。大數據及其背后的數據科學在特定領域的應用是近幾年的熱門話題,尤其在生命科學、醫療保健、政府治理、教學教育和業務管理等領域的廣泛應用,出現了量化自我、數據新聞、大數據分析學等新的研究課題。
  5. 數據科學領域的人才培養。與傳統科學領域不同的是,數據科學領域人才培養目的是培養學生的“以數據為中心的思考能力”。目前,相關研究主要涉及四個主題:數據科學課程的建設、相關課程的教學改革、跨學科型人才培養以及女性數據科學家的培養。從總體上看,數據科學的人才培養目的并不是數據工程師,而是數據科學家,尤其培養具有3C精神的數據科學家——原創性(Creative)設計、批判性(Critical)思考和好奇性(Curious)提問。

2. 專業數據科學研究中相對熱門話題

從研究視角看,數據科學的研究可以分為兩類:專業數據科學和專業中的數據科學。前者代表的是將數據科學當作一門獨立于傳統科學的新興學科來研究,強調的是其學科基礎性:后者代表的是將數據科學當作傳統學科的新研究方向和思維模式來研究,強調的是數據科學的學科交叉性。從目前的研究現狀看,專業數據科學研究的熱熱門話題有:

  1. DIKW模型。DIKW模型刻畫的是人類對數據的認識程度的轉變過程。通常認為,數據科學的研究任務是將數據轉換成信息(Information)、知識(Knowledge)或(和)智慧(Wisdom)。從數據到智慧的轉變過程是一種從不可預知到可預知的增值過程,即數據通過還原其真實發生的背景(Context)成為信息,信息賦予其內在含義(Meaning)之后成為知識,而知識通過理解轉變成智慧。
  2. 數據分析學(Data Analytics)。大數據分析研究正在成為一門相對成熟的研究方向——數據分析學。需要注意的是,數據分析(Data Analysis)與數據分析學是兩個不同的概念:前者強調的是數據分析活動本身,而后者更加強調的是數據分析中的方法、技術和工具。目前,大數據分析研究中的熱門話題有兩個:一是大數據分析學,尤其是大數據分析算法和工具的開發;另一個面向特定領域的大數據分析,如面向物流與供應鏈管理、網絡安全以及醫療健康的大數據分析學。論文給出了數據分析的主要類型及常見錯誤。
  3. 數據化(Datafication)。數據化是將客觀世界以及業務活動以數據的形式計量和記錄,形成大數據,以便進行后續的開發利用。除了物聯網和傳感器等公認的研究課題,量化自我(Quantified Self)也在成為數據化的熱門話題。數據化是大數據時代初級階段的主要關注的問題,隨著大數據的積淀,人們的研究焦點將從業務的數據化轉向數據的業務化,即研究重點將放在“基于數據定義和優化業務”之上。
  4. 數據治理(Data Governance)。數據治理是指數據管理的管理。目前,相關研究主要集中在頂層設計、實現方法、參考框架以及如何保證數據管理的可持續性。此外,數據治理作為數據能力成熟度評估模型(Data Maturity Model)的關鍵過程域,重點關注的是如何通過數據治理提升組織數據管理能力的問題。DMM中定義的關鍵過程域“數據治理”包括3個關鍵過程:治理管理(Governance Management)、業務術語表(Business Glossary)和元數據管理(Metadata Management)。
  5. 數據質量。大數據的質量與可用性之間內在聯系的討論已成為現階段數據科學的熱點問題之一,主要研究議題集中在大數據中的質量問題會不會導致數據科學項目的根本性錯誤以及大數據時代背景下的數據可用性的挑戰及新研究問題。但是,傳統數據管理和數據科學對數據質量的關注點不同。傳統數據管理主要從數據內容視角關注質量問題,強調的是數據是否為干凈數據(Clean Data)/臟數據(Dirty Data);數據科學主要從數據形態視角關注質量問題,重視的是數據是否為整齊數據(Tidy Data)/混亂數據(Messy Data)。所謂的整齊數據是指數據的形態可以直接支持算法和數據處理的要求。例如,著名的數據科學家Hadley Wickham 提出了整齊數據和數據整齊化處理(Data Tidying)的概念,并主張整齊數據應遵循三個基本原則: 每個觀察占且僅占一行、每個變量占且僅占一列以及每一類觀察單元構成一個關系表。

除了上述問題之外,大數據的安全、大數據環境下的個人隱私保護、數據科學的項目管理及團隊建設、公眾數據科學(Citizen Data Science)等是目前在專業數據科學研究中討論較多的問題。

3. 專業中的數據科學研究的相對熱門話題

相對于專業數據科學,專業中的數據科學研究具有差異性和隱蔽性。差異性主要表現在各學科領域對數據科學的關注點和視角不同;隱蔽性是指專業中的數據科學研究往往間接地吸收和借鑒數據科學或類似于數據科學的思想,而并不明確采用或直接運用數據科學的規范術語。從目前的研究看,以下幾個專業中的數據科學研究尤為活躍:

數據新聞(Data Journalism):新聞學領域的新研究方向之一,主要研究的是如何將大數據和數據科學的理念引入新聞領域,實現數據驅動型新聞(Data-driven Journalism)。

工業大數據:主要研究如何將大數據應用于工業制造領域,進而實現工業制造的創新。比較有代表性的是德國工業4.0(Industrie 4.0)、美國工業互聯網(Industrial internet)和中國制造2025(Made in China)。

消費大數據:與工業大數據不同的是,消費大數據更加關注的是產品生命周期的末端,即如何將已生產出的產品推銷給更多的用戶,主要包括精準營銷、用戶畫像(User Profiling)以及廣告推送。

  1. 健康大數據:主要關注大數據在健康與醫療領域的廣泛應用,包括生命日志(Life Logging)、醫療診斷、藥物開發、衛生保健等具體領域的應用。
  2. 生物大數據:將大數據的理念、理論、方法、技術和工具應用于生物學領域,從而生物學從知識范轉向數據范式。
  3. 社會大數據:綜合運用大數據和數據科學的理論,探討如何在大數據時代進行輿情分析、社會網絡分析以及熱點發現。
  4. 機構大數據:如何將大數據和數據科學的思想引入企業、政府以及公益部門的日常業務、戰略規劃與可持續改進。
  5. 智慧類應用:如何將大數據應用于智慧城市、智慧醫療、智慧養老、智慧交通、智慧教育等領域,發揮數據的驅動作用,進而實現更高的智慧。
  6. 敏捷類應用:如何將大數據思維用于軟件開發、項目管理以及組織管理之中,進而實現敏捷軟件開發、敏捷項目管理和敏捷組織,提升其應變能力和可持續發展能力。

4. 大數據生態系統研究中相對熱門話題

數據科學生態系統(Big Data Ecosystem)是指包括基礎設施、支撐技術、工具與平臺、項目管理以及其他外部影響因素在內的各種組成要素構成的完整系統。例如,大數據全景圖(Big Data Landscape)較為全面地展示了大數據生態系統中的主要機構及產品。現有相關研究主要從組成要素及其相互關系兩個方面進行。就目前而言,相關研究中的熱門話題集中在:

  1. 基礎設施:主要關注云計算、物聯網、移動計算、社交媒體在內的基礎設施對數據科學的影響以及數據科學中如何充分利用上述基礎設施。
  2. 支撐技術:建立在基礎設施上的關鍵技術,現有研究主要討論機器學習、統計學、批處理、流計算、圖計算、交互計算、NoSQL、NewSQL和關系云等支撐技術在數據科學的應用;
  3. 工具與平臺:支撐技術的具體實現,目前的主要研究熱點集中在R、Python、Hadoop、Spark、MongoDB、HBase、Memcached、MongoDB、CouchDB和Redis等工具與平臺在數據科學中的應用;
  4. 項目管理:涉及數據科學項目的范圍、時間、成本、質量、風險、人力資源、溝通、采購及系統管理等9個方面的管理;
  5. 環境因素:大數據時代對法律、政策、制度、文化、道德、倫理產生的影響與新需求。其中,大數據權屬立法研究主要討論大數據權屬立法的必要性、可行性以及對策建議。從大數據的重要性的認識看,大數據不再是一種資源,更是一種資產。大數據權屬的立法已經成為大數據時代信息資源開發利用的必要條件。

三、數據科學研究的爭議與挑戰

在不同的學科領域,大數據時代的科學研究所面臨問題、挑戰和關注點不同。

從計算機科學視角看,新的數據處理需求已經超出了現有的存儲與計算能力;從統計學視角看,大數據挑戰在于樣本的規模接近總體時,如何直接在總體上進行統計分析;從機器學習角度看,訓練樣本集接近測試樣本集時,如何用簡單模型及模型集成方法實現較高的智能水平;從數據分析角度看,如何從海量數據中快速洞察有價值的數據,并通過試驗設計和模擬仿真,實現數據到智慧的轉變。

但是,從數據科學視角看,其研究中的常見爭議及背后的研究挑戰可以歸納為10個方面:

1. 思維模式——知識范式還是數據范式

在傳統科學研究中,由于數據的獲得、存儲和計算能力所限,人們往往采取的是知識范式(“數據→知識→問題”的范式),從數據,尤其是樣本數據中提煉出知識之后,用知識去解決現實問題。大數據時代的到來及數據科學出現為人們提供了另一種研究思路,即數據范式(“數據→問題”范式),在尚未從數據中提煉出知識的前提下,用數據直接解決問題。數據范式強調的是在尚未將數據轉換為知識的前提下,直接用數據去解決現實世界中的問題。

以機器翻譯為例,傳統機器翻譯方法是基于自然語言理解,準確說是基于語言學和統計學的知識進行,屬于知識范式的范疇。但是,這種傳統機器翻譯效果一直并不理想,且尚無突破性進展。然而,近幾年興起的機器翻譯方法改變了傳統機器翻譯的思維模式,采取的是“數據范式”——直接從歷史跨語言語料庫中快速洞見所需結果。上世紀五十年以來的IBM 機器翻譯的緩慢發展以及2000以后的Google機器翻譯的迅速興起也反映了這種思維模式的變革。

與傳統認識中的“知識就是力量”類似,在大數據時代,數據也成為一種重要力量。如何組織、挖掘和利用數據成為現代組織的核心競爭力。目前,思維模式變革的主要挑戰在于如何完成以數據為中心的設計、數據驅動型決策和數據密集型應用。

2. 數據的認識——主動屬性還是被動屬性

在傳統科學研究中,數據一直被當作是被動的東西,人們主要從被動屬性方面去對待數據。以關系數據庫為例,人們先定義關系模式,然后將數據按照關系模式的要求進行強制轉換后放入數據庫中,完成數據挖掘和分析任務。

在大數據思維模式的背后,一個根本性的變革在于人們開始意識到數據的主動屬性——不再簡單認為數據是一種死的、被動的東西,而更加重視數據的積極作者用,提出了數據在先、模式在后或無模式、讓數據說話、數據驅動型應用、數據業務化、數據洞察和以數據為中心的思維模式等新術語。

因此,如何正確認識數據及如何充分發揮數據的主動屬性成為數據科學的重要研究任務。目前,相關研究的主要挑戰在于如何實現數據洞察、以數據為中心的設計、敏捷軟件開發、數據驅動型決策以及智慧類應用研發。

3. 智能的認識——更好的算法還是更多的數據

在傳統學術研究中,智能主要來自于算法,尤其是復雜的算法。算法的復雜度隨著智能水平得到提升。例如,KNN算法是機器學習中常用的分類算法,其算法思想非常簡單。人們根據不同應用場景提出多種改進或演化方案,雖然智能水平有所提高,但隨之而來的問題是算法復雜度的提升。但是,數據范式表明,數據也可以直接用于解決問題,引發了一場關于“更多數據還是更好模型(More data or Better Model debate)”的討論,經過這場大討論,人們得出了相對一致的結論——“更多數據+簡單算法=最好的模型(more data+ simple Algorithem= the best model)”。

因此,如何設計出簡單高效的算法以及算法的集成應用成為數據科學的重要挑戰。目前,關于智能的實現方式的挑戰在于算法設計、算法集成、維度災難和深度學習。

4. 研發瓶頸——數據密集型還是計算密集型

傳統的軟件開發與算法設計的重點是解決計算密集型的問題,計算是研究難點和瓶頸。但是,隨著大規模分布式計算,尤其是云計算的普及,計算不再是人們需要解決的首要瓶頸。因此,軟件開發與算法設計的主要矛盾從計算轉向數據,出現了數據密集型應用。在數據密集型應用中,數據是主要關注點與瓶頸。數據密集型問題的研究將進一步推動以數據為中心的研究范式。

目前,數據密集型應用的主要挑戰在于副本數據技術、物化視圖、計算的本地化、數據模型的多樣化和數據一致性保障。

5. 數據準備——數據預處理還是數據加工

在傳統數據研究中,數據準備主要強調的是將復雜數據轉換為簡單數據,對臟數據進行清洗處理后得到干凈數據,從而防止“垃圾進垃圾出”現象的出現,主要涉及重復數據的過濾、錯誤數據的識別以及缺失數據的處理。可見,數據預處理主要關注的是數據的質量維度的問題。但是,由于從小數據到大數據之間存在質量涌現現象——個別小數據的質量問題(如缺失數據、錯誤數據或重復數據)不影響整個大數據的可用性,大數據處理中關注的并非為傳統意義上的數據預處理,而其關注點轉向另一個重要課題——數據加工。

在數據科學中,數據加工是指數據的創造性增值過程,包括兩種表現形式:數據打磨(data wrangling)或數據改寫(data munging)。與數據預處理不同的是,數據加工更加強調的是如何將數據科學家的3C精神融入數據處理工作之中,從而達到數據增值的目的。因此,數據加工并不僅限于技術工作的范疇,而且還涉及到藝術層面的創造,如需要采用數據柔術(Data Jujitsu)和整齊化處理(Data Tidying)的方法進行數據加工處理。

數據加工概念的提出意味著人們對數據復雜性的認識發生了重要的變革,即開始接受數據的復雜性特征,認為復雜性是數據本身的固有特征。與此同時,數據準備的關注點轉向另一個重要問題,即如何發揮人的增值作用。目前,數據加工的研究主要挑戰集中在:

  • 數據打磨或數據改寫理念的提出:如何在數據科學項目中充分發揮數據科學家的作用,進而實現數據處理活動的增值效果;
  • 數據打磨或數據改寫技術的實現:基于Python、R以及大數據技術實現數據加工的理念與方法;
  • 數據柔術:如何有藝術性地將數據轉換為產品;
  • 整齊化處理:將數據轉換為大數據算法和大數據技術能夠直接處理的形態。

6. 服務質量——精準度還是用戶體驗

查全率和查準率是傳統數據研究中評價服務質量的兩個核心指標。但是,當總體為未知、數據量迅速增長、數據種類不斷變化和數據處理速度要求高時,查全率和查準率的追求成為不可能。因此,在大數據環境下,更加重視的是用戶體驗,而不是查全率和查準率。在用戶體驗的評價中,響應速度是最為重要指標之一。Aberdeen Group的調查發現“頁面的顯示速度每延遲1秒,網站訪問量就會降低11%,從而導致營業額減少7%,顧客滿意度下降16%”Google發現“響應時間每延遲0.5秒,查詢數將會減少20%”;Amazon發現“響應時間延遲0.1秒,營業額下降1%。

目前,用戶體驗研究的主要挑戰在于如何確保較快的響應速度、設計人機交互、實現服務虛擬化以及提供按需服務。

7. 數據分析——解釋性分析還是預測性分析

理論完美主義者認為只有掌握了因果關系才能正確認識和有效利用客觀現象。傳統數據分析往往是理論完美主義的指導下完成,試圖通過對歷史數據進行深度分析之后,達到深刻理解自我或解釋客觀現象的目的,側重的是因果分析,即以解釋型分析為主。

在大數據環境下,數據分析的重點從因果分析轉向相關分析,更加重視的是事物之間的相關關系。然而,在這種變革的背后是數據分析指導思想的根本性變化——從理論完美主義轉向現實實用主義,側重于數據分析的實用性,更加重視對未來的預測,即預測型分析。相對于解釋性分析,預測性分析具有更強的時效性,可以迅速洞見事物之間的內在聯系以及其商業價值。

因此,數據科學的一個重要特點是預測性分析和解釋性分析的分離。預測性分析主要由數據科學家完成,一般不需要領域知識;解釋性分析則發生在預測性分析之后,數據科學家將預測性分析中的洞察結果轉交給領域專家,由領域專家負責完成解釋性分析。可見,數據科學家一般不做解釋性分析,或者說,解釋性分析往往超出數據科學家的能力范疇,需要由具體領域的專家完成。預測性分析和解釋性分析的分離也是數據科學家和領域專家之間協同工作的主要實現方式。

大數據分析的主要挑戰源自于數據的復雜性、噪聲數據的分析、數據的依賴度。提出面向大數據分析的新方法、技術與工具,尤其是大數據分析方法的動態演化、實時計算和彈性計算成為相關研究中亟待解決的問題。

8. 算法評價——復雜度還是可擴展性

復雜度,尤其是時間復雜度和空間復雜度,是傳統算法的兩個重要評價指標 ,分別代表的是算法的運行所需的時間成本和內存成本。但是,在大數據環境下,算法設計的一個重要特點是上層需求和底層數據處于動態變化之中,因此,算法應支持按需服務和數據驅動型應用。例如,谷歌于2008年推出預測流感疫情工具——谷歌流感趨勢(Google Flu Trends,GFT),及時準確預測了當時H1N1在全美范圍的傳播,但是,2013年1月的估計比實際數據高兩倍,主要原因之一是缺乏算法動態性(Algorithm Dynamics)和用戶使用行為習慣的變化。

在大數據時代,算法的可擴展性主要代表的是算法的可伸縮能力。目前,相關研究的主要挑戰在于低維度算法在高維數據中的應用、維度災難、數據規約以及數據密集型應用。

9. 研究范式——第三范式還是第四范式

圖靈獎獲得者Jim Gray 曾提出,人類科學研究活動已經歷過三種不同范式的演變過程(原始社會的“實驗科學范式”、以模型和歸納為特征的“理論科學范式”和以模擬仿真為特征的“計算科學范式”),目前正在從“計算科學范式”轉向“數據密集型科學發現范式(Data-intensive Scientific Discovery)”。第四范式,即“數據密集型科學發現范式”的主要特點是科學研究人員只需要從大數據中查找和挖掘所需要的信息和知識,無須直接面對所研究的物理對象。例如,在大數據時代,天文學家的研究方式發生了新的變化——其主要研究任務變為從海量數據庫中發現所需的物體或現象的照片,而不再需要親自進行太空拍照。

第四范式的提出反映了人們對世界的固有認識發生了根本性的變化——從二元認識(精神世界/物理世界)轉向三元認識(精神世界/數據世界/物理世界),即在原有的“精神世界”和“物理世界”之間出現了一個新的世界——數據世界。因此,科學研究者往往直接面對的是數據世界,通過對數據世界的研究達到認識和改造物理世界的目的。對于科學研究者而言,數據世界中已積累的“歷史數據”往往足以完成一項科研任務,數據科學家不需要親自到物理世界采用問卷和訪談的方法收集數據——“調研數據”。同時,與“調研數據”相比,“歷史數據”更具有客觀性和可信度。目前,相關研究主要挑戰在于第三范式與第四范式的區別、第四范式的內涵、理論深入研究以及領域應用。

10. 人才培養——數據工程師還是數據科學家

傳統科學領域中,數據相關的人才培養的目標定位于數據工程師——從事數據的組織、管理、備份、恢復工作的人才。但是,在大數據時代,數據工程師無法勝任數據科學的研究任務,需要的是一類全新的人才——數據科學家。二者的主要區別在于:數據工程師負責的是數據的管理,而數據科學家擅長的是基于數據的管理,如基于數據的決策、產品開發、業務定義等。

目前,關于數據科學家的研究及人才培養的挑戰在于正確分析崗位職責與用人需求、數據科學家的素質與能力要求、數據科學項目管理以及數據科學家的職業規劃。

四、數據科學研究的發展趨勢

 

[[221543]]

在梳理研究熱點、爭議及挑戰的基礎上,我們需要進一步分析數據科學研究的發展趨勢。從整體上講,數據科學研究的主要發展趨勢可以總結為:

“思維模式的多樣化和研究范式的變遷”是根本趨勢。其中,思維模式的多樣化主要體現在數據范式的興起以及其與傳統的知識范式并存;研究范式的變遷是指科學研究范式從“計算科學范式”轉向“數據密集型科學發現范式”,進而改變人們對世界的二元認識,相關研究重點將轉變為通過數據世界的研究認識和改造物理世界。思維模式的多樣化和研究范式的變遷對數據科學研究產生深遠影響,將改變人們對數據的認識視角、開發動因和利用方式。

“專業中的數據科學”是研究熱點。大數據時代,各專業領域面臨的主要挑戰在于如何解決新興數據與傳統知識之間的矛盾,即數據已經變了,但知識沒有更新,各學科中的傳統知識無法解決大數據帶來的新問題。因此,大數據時代的機遇與挑戰即將成為各學科領域研究的新方向,也就是說,專業中的數據科學成為相關研究的熱點問題。

“專業數據科學”是研究難點。“專業中的數據科學”從不同專業視角解讀數據科學,存在研究興趣點和研究發現(如理論、方法、技術、工具和典型實踐等)的差異性,甚至可能出現相互重疊與沖突的現象。在這種背景下,如何將分散不同學科領域中的共性問題及通用結論提煉成一門新的學科——“專業數據科學”,進而為各個學科領域的研究提供新的理論基礎是未來研究的難點所在。

“數據生態系統的建設”是終極問題。數據學科是一門實踐性極強的學科,其研究和應用均不能脫離具體領域。數據科學的研究和應用將會超出技術范疇,還涉及到發展戰略、基礎設施、人力資源、政策、法律與文化環境等諸多因素。因此,數據科學需要解決的終極問題是將大數據放在一個完整的生態系統之中去認識與利用,從生態系統層次統籌和規劃,避免片面認識數據問題,進而推動數據、能源和物質之間的相互轉化。

1. 預測模型及相關分析的重視

數據科學的研究責任在于預測模型而不在于解釋模型。以預測模型為中心的數據科學更偏向于實用主義,更加關注的是“對未來的預測能力”,而不是“對過去的解釋水平”。因此,數據科學的研究更加重視的是“現在能為未來做什么?”,而不是“過去對現在的影響是什么?”

數據科學中重視預測模型而不是解釋模型的另一個現實基礎在于“人們往往先發現規律,后發現原因”。從方法論層次看,以發現預測模型為目的的研究往往提倡的是假設演繹(Hypothetico-Deductive)研究范式,先提出研究假設,然后采用試驗設計和演繹分析方法論證研究假設成立與否。然而,一個好的研究假設的提出需要研究者,尤其是數據科學家的特有素質——創造力、批判性思考和好奇心。

與解釋模型不同的是,預測模型更加重視的是模型的簡單性,而不是復雜性,主要原因有兩個,一是預測模型對計算時間的要求較高,甚至需要進行實時分析,然而簡單模型的計算效率往往高于復雜模型;二是經驗證明,正如奧卡姆剃刀定律(Occam's razor)所言,在其他條件相同的情況下,就預測而言,簡單模型比復雜模型更可靠。

預測模型往往建立在相關關系,而不是因果關系。通常,相關關系可以幫助我們預測未來,而因果關系有助于進一步理解和控制未來。從表面上看,預測模型依賴的是相關關系的分析,但在本質上屬于一種數據驅動型的“數據范式”,與基于知識范式的解釋模型有著本質性的區別。

2. 模型集成及元分析的興起

傳統數據分析的通用做法是用一個數據模型即可解決一項數據處理任務。在這種以單一模型為基礎的數據分析中,為了提升數據處理的信度和效度,需要對模型進行優化和調整,導致數據模型復雜度的增長。也就是說,傳統數據分析中的數據模型有兩個基本特征:單一性和復雜性。

但是,在大數據背景下,人們很難找到一個能夠處理動態且異構數據的單一模型,因此,開始尋求多個模型的集成應用。與傳統數據分析不同的是,大數據分析中所涉及的模型往往是極其簡單,即大數據分析中的數據模型也有兩個基本特征:多樣性和簡單性。

可見,模型集成成為數據科學研究的一個新問題。通常,大數據分析采用多個較為簡單的數據模型,將數據分析任務分解成分散在多個層次,多個活動的小任務,并通過簡單模型及其集成方法達到最終數據處理目的。例如,在深度學習之中,由多處理層組成的計算模型可通過多層抽象來學習數據表征。

模型集成的背后是元分析的興起。傳統統計學重視的基于零次或一次數據的基本分析,包括描述性統計、參數估計和假設檢驗。在大數據環境下,二次數據和三次數據的分析顯得更為重要,數據分析工作往往在眾多小模型的分析結果的基礎上進行二次分析,即元分析。

3. 數據在先,模式在后或無模式的出現

傳統數據管理,尤其是關系型數據庫中采用的是“模式在先、數據在后(Schema First,Data Later)”的建設模式,即先定義模式,然后嚴格按照模式要求存儲和管理數據;當需要調整模式時,不僅需要重定義數據結構,而且還需要修改上層應用程序。然而,在大數據環境下,無法沿用“模式在先、數據在后(Schema First,Data Later)”的建設模式,主要原因有兩個:一是數據模式可能為不斷變化或根本不存在;二是按照預定模式進行數據的存儲和處理時容易導致信息丟失。

因此,“數據在先,模式在后或無模式(Data First, Schema Later or Never)”成為數據產品設計的主要趨勢。以NoSQL為例,采用非常簡單的鍵值數據模型,通過模式在后(Schema Later)或無模式(Schemaless)的方式確保數據管理系統的敏捷性。當然,模式在后或無模式也會帶來新問題,如限制數據管理系統的處理能力及加大應用系統的開發難度。

在“數據在先,模式在后或無模式”的興起背后是信息系統建設模式的歷史性變革——從先行支付(Pay-before-you-go)轉向現收現付(Pay-as-you-go)的建設模式。信息系統建設中的先行支付模式的特點是根據特定時間點的需求定義信息系統,信息系統一旦開發完畢,在一定時間內相對穩定。先行支付模式的缺點在于無法適應底層數據的復雜性和上層應用的動態變化。

4. 數據一致性及現實主義的回歸

在傳統數據管理中,對數據一致性的要求是接近于完美主義——強一致性,即任何時候從任何地方讀出的任何數據均為正確數據。為了保證數據的一致性,在關系數據庫中引入了事務、兩端封鎖協議和兩端提交協議等方法或機制。強一致性的優點在于不僅可以保證數據質量,而且可以降低后續計算的成本。但是,強一致性不符合大數據時代的數據管理要求——高擴展性、高性能、高容錯性、高伸縮性和高經濟性。

因此,NoSQL等新興數據管理技術從根本上改變了人們對數據一致性的傳統認識,主要表現在提出CAP理論和BASE原則等新興數據管理理念,引入弱一致性、最終一致性等概念,并提供了不同的解決方案,如更新一致性、讀寫一致性和會話一致性等。可見,在數據科學研究中,數據的一致性出現了多樣化趨勢,即根據不同應用場景,有針對性地選擇具體的一致性及其實現方法。

在數據一致性的多樣化認識的轉變反映了們對數據數據管理目標的根本轉折——從完美主義回歸至現實主義。以CAP理論為例,人們對分布式系統的設計目的發生了改變,不再追求強一致性(Consistency)、可用性(Availability)和分區容錯性(Partition Tolerance)三個指標的同時最優,反而意識到了三者中的任何兩個特征的保證(或爭取)可能導致另一個特征的損失(或放棄)。例如,Cassadra和Dynamo 為了爭取可用性和分區容錯性而放棄了一致性。

5. 多副本技術及靠近數據原則的應用

傳統關系數據庫更加看重的是數據冗余的負面影響——冗余數據導致的數據一致性保障成本較高。與此不同的是,數據科學中更加重視的是冗余數據的積極作用,即冗余數據在負載均衡、災難恢復和完整性檢驗中的積極作用。同時,還通過引入多副本技術和物化視圖的方法豐富冗余數據的存在形式,縮短用戶請求的響應時間,確保了良好用戶體驗。以Google搜索為例,采用緩存和照相(images)技術,重復利用搜索結果。

同時,在計算和應用系統的部署上,改變傳統的“數據靠近計算的原則”,反而開始采取了“計算靠近數據的原則”。例如,在Spark系統提供了操作getPreferredLocations(),支持RDD的本地化計算;在MapReduce中,盡量將Map任務調度至存放副本數據數據的機器上。可見,多副本技術和靠近數據原則均表明傳統的“以計算為中心”的產品部署模式正向“以數據為中心”的產品部署模式的轉變。

6. 多樣化技術及一體化應用并存

傳統關系數據庫類產品雖多,但標準化程度較高,如均采用關系模型和SQL語言。但是,新興的NoSQL數據庫代表的不是一種特定技術,而是包括基于不同數據模型和查詢接口的多種數據管理技術,如Key-Value、Key-Document和Key-Column和圖存儲模型等。可見,在技術實現層次上,新興技術表現出了多樣化發展及高度專業化的趨勢,即一項新技術專注于一個問題、一項功能或一種應用場景。例如,MapReduce、Tez、Storm、Druid等技術的定位相對單一,分別專注于分布式批處理、Map/Reduce過程的拆分與組合、實時處理和面向OLAP的列存儲等較為單一功能的實現。當然,Spark、YARN等較為通用性技術的出現也為技術層次上的高度專業化趨勢提供了一種補充的解決方案。

同時,在傳統數據計算/管理環境中,不同數據產品的界限是比較清楚的,所依賴的技術也是單一的,要么關系模型,要么層次或網狀模型。但是,大數據時代的到來導致不同計算/管理技術的高度融合,出現一些支持多種數據計算/管理技術集成產品,甚至顯現出了軟硬件一體化或嵌入式應用趨勢。例如,Oracle大數據解決方案(Big Data Appliance)集成了HDFS、Oracle NoSQL、Cloudera CDH、數據倉庫、內存計算和分析型應用。

可見,在數據科學研究中一體化應用和專業化趨勢并存。在產品與服務的實現層次上,一體化趨勢越來越顯著,一種產品的實現往往涉及多種不同技術的集成應用;在技術本身的實現層面,專業化趨勢成為主流,一項新技術專注于解決相對單一問題。

7. 簡單計算及實用主義占據主導地位

“簡單”是數據科學的基本原則之一,代表著采用相對簡單的技術來應對復雜的基礎數據及不斷變化的應用場景。與此不同的是,傳統數據管理中采用的技術實現往往較為復雜。例如,傳統關系數據庫技術采用Join運算實現了多表查詢等復雜操作。但是,這些復雜操作反而成為了關系數據庫在提升數據管理能力的一個重要瓶頸,如Join操作要求被處理數據不能分布在不同節點。為此,NoSQL放棄了Join等復雜處理操作,突出了簡單計算較高的效率和效果。

從復雜計算到簡單計算的轉變表明人們對數據產品開發的理念從完美主義回歸至實用主義。數據科學是一門實踐性很強的學科,現階段其研究主要關注的是實用性,即解決當前社會亟待解決的實際問題,而不是復雜計算的實現。

8. 數據產品開發及數據科學的嵌入式應用

作為數據科學的特有研究內容,數據產品開發將成為未來研究重要課題。在數據科學中,所謂的數據產品(Data Products)并不限于“數據形態”的產品,而泛指“能夠通過數據來幫助用戶實現其某一個(些)目標的產品”。可見,數據產品是指在數據科學項目中形成,能夠被人、計算機以及其他軟硬件系統消費、調用或使用,并滿足他們(它們)某種需求的任何產品,包括數據集、文檔、知識庫、應用系統、硬件系統、服務、洞見、決策及它們的各種組合。以Google眼鏡為例,雖然其產品形態上看似乎是“眼鏡類產品”,但從其主要競爭力之源看,確實屬于“數據產品”。

數據產品開發主要關注的是如何將數據科學的理論融入傳統產品開發實踐之中,進而實現產品的更新換代和用戶體驗的提升。未來,數據產品開發將嵌入至傳統產品的研發之中,二者的界限越來越模糊。如何將數據科學家的創造性設計、批判性思考和好奇性提問的職業素質融入產品研發之中,從而實現傳統產品的增值和核心競爭力的提升是未來數據產品開發的難點所在。在此背景下,以數據為中心的設計思維將會是數據產品開發的主要思維模式。同時,良好的用戶體驗將成為產品開發的主要評價指標之一。

數據產品開發的興起將推動數據科學的嵌入式應用。數據科學將作為傳統產品的創新點、增值點和競爭力之源,成為產品開發的必要環節,數據科學與領域實呈現出了高度融合的趨勢。

9. 專家及公眾數據科學的興起

在傳統數據分析中,專家,尤其是領域專家是知識的主要來源之一。例如,本體的建設需要由領域專家完成;專家系統中的知識庫建立在專家的知識之上。但是,在大數據時代,專家余(ProAm)成為數據處理項目的主要貢獻者。與專家不同的是,專家余是指其能力在專家與業務之間的準專家型人群。近年來,眾包(包括眾創、眾籌等)成為大數據時代的重要數據處理模式,其主要參與者均為專家余,而并非是嚴格意義上的專家或業余人群。例如,與傳統意義上的專家編寫的百科全書不同,Wikipedia是由來自各領域的專家余共同完成的知識庫。

眾包的廣泛應用為傳統知識庫建設中的數據量與形式化程度之間的矛盾提供了新的解決方案。在傳統知識庫建設中,要么形式化程度高,但數據量不夠,反之亦然。眾包數據處理模式的出現使位于數據鏈長尾的專家余成為知識的主要貢獻者和積極參與者。從協同方式看,眾包中大規模協同可以分為機器協同、人機協同和人際協同三種表現形式。其中,人機協同是數據科學研究的重要課題。例如,混合智能——人與機器的互補型智能正成為人工智能的新課題。再如,語義Web技術的出現為人機協同提供了一種重要的技術支撐。

公眾數據科學(Citizen Data Science)是專家余和大規模協同在數據科學領域的應用的主要表現形式之一。所謂的公眾數據科學屬于公眾科學(Citizen Science),是指公眾參與的數據科學,與數據科學(Data Science)的區別在于參與研究者以非職業的興趣愛好者和志愿者為主。也就是說,公眾數據科學是一種基于眾包和專家余的準數據科學,也是在數據科學成為一門廣為接受的正式科學之前的過渡型理論。

10. 數據科學家與人才培養的探討

數據科學項目任務往往是富有挑戰性的工作,每一項任務都是獨一無二的,對工作人員的要求超出數據工程師的能力范疇,亟待由一類新型人才——數據科學家來承擔。從Drew Convey的數據科學維恩圖可看出,數據科學具有三個基本要素,即理論(統計學與數學知識)、實踐(領域實戰)和精神(黑客精神)。可見,數據科學與傳統科學的人才需求不同,前者不僅要求傳統科學中的理論與實踐,而且還需要有數據科學家的“精神”素質,即原創性設計、批判性思考和好奇心地提問的能力。

因此,如何培養“理論、實踐和精神為一體”的綜合性人才是未來研究的重要課題。相關研究主要以下四個層面開展:

辦學層次,如何培養本科、碩士、博士層次的數據科學人才。目前,國內和國外對數據科學人才培養層次的關注點不同,分別關注的是本科層次和碩士層次人才的培養,但對博士層次的人才的討論相對少;

  • 專業設置:是否需要設立數據科學專業?例如,國內主要討論的是如何建設“數據科學與大數據技術”專業。
  • 學科方向的選擇:如何將數據科學與傳統學科向結合,確定數據科學的學科地位;
  • 課程改革:如何完成傳統課程的改革以及數據科學新課程的創造性設計。

結論

數據科學是一門極其特殊的新興學科,具有與其他學科不同的新特征,例如思維模式的轉變(從數據范式到知識范式的轉變)、對數據認識的變化(從數據的被動屬性到主動屬性的轉移)、指導思想的變化(實用主義和現實主義的回歸)、以數據產品開發為主要目的(數據成為傳統產品的主要創新點)、專業數據科學與專業中的數據科學的差異性以及數據科學的三要素(不僅涉及理論和實踐,而且還包括精神素質)。因此,數據科學的研究不能簡單照搬傳統學科的經驗,應尊重其特殊使命和屬性。為此,我們對數據科學研究者提出如下幾點建議:

正確認識數據科學。正確認識數據科學的內涵是有效學習和規范研究數據科學的前提。目前,部分學者誤以為“數據科學=統計學+機器學習”,過于強調統計學和機器學習,而忽略了數據科學本身。其實,統計學和機器學習是數據科學的理論基礎,而并非其核心內容。數據科學具有區別與其他學科的獨特的研究使命、研究視角、思維模式、做事原則和知識體系。如果脫離了這些獨到之處,數據科學的學習和研究將發生方向性的誤讀和本質性的扭曲。

突出數據的主動屬性。數據科學的一個重要貢獻或價值就在于改變了人們對數據的研究方向,即從被動屬性轉向主動屬性。一直以來,人們習慣性地把數據當做被動或死的東西,關注的是“你能對數據做什么?”,如模式定義,結構化處理和預處理,都試圖將復雜數據轉換成簡單數據。但是,大數據時代更加關注的是數據的另一個屬性——主動屬性,強調的是“數據能給你帶來什么?”,如數據驅動型應用、以數據為中心的設計、讓數據說話、數據洞見等,將復雜性認為數據的自然屬性,開始接受數據的復雜性。研究方向從數據的被動屬性到主動屬性的轉變是學習和研究這一門新學科的基本出發點。如果忽略了這一點,容易將數據科學當成數據工程來學習和研究。

平衡數據科學的三個要素。與其他課程,尤其是技術類課程不同的是,數據科學既包括理論和實踐,更需要精神——原創性設計、批判性思考和好奇性提問的素質。因此,數據科學的學習中不僅要強調理論聯系實際,而且還不能忽略對數據科學家精神的培養。積極參與數據科學相關的開源項目和競賽類項目是兼顧數據科學的三個基本要素的兩個重要捷徑。

側重培養信心和興趣,學會跟蹤數據科學的最新動態。一方面,數據科學建立在統計學和機器學習等基礎理論之上,學習門檻較高,因此,培育自己對數據科學的學習信心和興趣尤為重要;另一方面,數據科學仍屬于一門快速發展的新興學科,其理念、理論、方法、技術和工具在不斷變化之中,要求我們必須掌握動態跟蹤數據科學領域的國際頂級會議、重要學術期刊、主要研究機構、代表性人物和標志性實踐的能力。

重視試驗設計及假設檢驗。試驗設計是數據科學項目的重要活動之一。數據科學家應根據數據科學項目的研究目的,有創造性地提出研究假設,并設計對應的試驗,最終通過這些試驗達到假設檢驗的目的。以華盛頓大學和加州大學伯克利分校的數據科學專業人才培養方案為例,分別開出了課程《應用統計與試驗設計(Applied Statistics & Experimental Design)和《試驗與因果分析(Experiments and Causality)》,重點培養學生的試驗設計和假設檢驗的能力。

不要忽視因果分析。在大數據時代,很多人誤以為“因果分析不再重要了”,并把研究重點僅限在相關分析。相關分析只能用于識別事物之間的關聯關系,而無法指導如何優化和干預這種相關關系。因此,當相關關系發生變化或需要人為干預相關關系時,必須進一步研究其因果關系。在數據科學項目中,數據科學家的關注重點是發現各種可能的關聯關系,而關聯關系的產生機制和優化方法需要由領域專家完成。加州大學伯克利分校和哥倫比亞大學分別開設《實驗與因果分析(Experiments and Causality)》和《因果推理與數據科學(Causal Inference for Data Science)》,均反映了因果分析在數據科學中的重要地位。

以數據產品開發為主要抓手。數據產品開發是學習與研究數據科學的主要抓手之一。需要注意的是,數據產品不限于數據形態的產品,任何用數據來幫助目標用戶實現其某一目的的產品都可視為數據產品。數據是未來產品的創新點和增值點。因此,向數據產品的轉變是傳統產品的重要發展趨勢。以Google眼鏡為例,其創新源自數據,而不在于其外觀和選材,以數據為中心的產品設計才是該產品與傳統的眼鏡類產品的根本區別。可見,數據產品開發是數據科學的最為直接且最為普遍的應用。

準確定位人才培養目的。數據科學的學習和人才培養的目的是培養數據科學家而不是數據工程師。二者的區別在于,數據工程師負責的是“數據本身的管理”,而數據科學家的主要職責是“基于數據的管理”,包括基于數據的分析、決策、流程定義與再造、產品設計和服務提供等。因此,相對于數據工程師,數據科學家對人才的要求更高,不僅要有理論功底和實踐經驗,而且還要求有精神素質,即創造性設計、批判性思考和好奇性提問的能力。

責任編輯:未麗燕 來源: 數據科學DataScience
相關推薦

2012-04-10 15:31:06

HTML 5

2011-03-11 13:22:16

2010-12-21 18:24:26

2025-02-05 09:22:57

2021-06-17 10:44:08

混合云云計算私有云

2017-08-08 12:26:39

大數據數據科學規則

2023-12-19 16:55:18

人工智能科學研究

2019-01-31 07:43:22

數據科學算法深度神經

2021-06-10 19:10:32

大數據大數據應用大數據技術

2010-09-07 17:59:53

監控MXsoft美信

2014-08-05 16:19:30

浪潮公安部交通管理

2021-01-03 10:27:43

數據科學技術

2017-02-15 08:40:03

2017-08-28 09:59:59

基礎設施清華龍騰佳訊

2020-07-22 11:21:05

數據科學大數據分析大數據

2020-07-22 11:39:30

物聯網人工智能技術

2010-04-26 15:27:07

互聯網

2016-10-17 14:35:37

大數據產業數據數據發展

2010-04-02 09:39:50

曙光清華大學醫學
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 中文字幕在线播放第一页 | 国产精品日韩在线观看一区二区 | 久久网一区二区三区 | 国产精品区二区三区日本 | 日韩高清中文字幕 | 欧美在线一区二区三区 | 日韩中文字幕一区 | 在线黄| 蜜臀久久99精品久久久久野外 | 中文字幕在线视频观看 | 久久国产精品久久国产精品 | 91视频一区二区 | 免费在线a视频 | 日韩av在线一区二区 | 国产人免费人成免费视频 | 亚洲电影免费 | 精品欧美乱码久久久久久1区2区 | 国产日产精品一区二区三区四区 | 亚洲精品美女 | 天天拍天天色 | 亚洲九九精品 | 欧美精品99 | 蜜桃一区二区三区在线 | 国产精品无码专区在线观看 | 成人av免费 | 操亚洲 | 爱爱视频在线观看 | 国产视频中文字幕 | 久久丝袜 | 伊人春色成人 | 亚洲导航深夜福利涩涩屋 | 久久国产精品视频 | 国产99久久精品一区二区永久免费 | 午夜日韩 | 成年人免费看 | 亚洲天堂精品久久 | 欧美久久一区二区三区 | 国产精品2 | 国产一区二区三区精品久久久 | 久久人人爽人人爽 | 欧美性一区二区三区 |