過年期間，小芯努力學(xué)習(xí)了一些數(shù)據(jù)科學(xué)技能，作為數(shù)據(jù)領(lǐng)域的人，最終總會閱讀并了解很多很多東西。

數(shù)據(jù)科學(xué)對小芯來說，是一種力量，能使企業(yè)和利益相關(guān)者做出明智的決策，并用數(shù)據(jù)解決問題。

如今，不是每個技術(shù)專家都對其他技能充滿熱情，但都會對自己工作領(lǐng)域的技能充滿熱情。數(shù)據(jù)科學(xué)家也是如此。新的一年，隨著新技術(shù)趨勢和更重大挑戰(zhàn)出現(xiàn)，技術(shù)基礎(chǔ)必須夯實。

下面是小芯整理出來的最新鮮的2020年數(shù)據(jù)科學(xué)家所需的10大技能，排序不分先后!

[[314731]]

1. 數(shù)據(jù)庫管理

對筆者來說，數(shù)據(jù)科學(xué)家是不一樣的存在，他們需要掌握所有知識，包括數(shù)學(xué)、統(tǒng)計、編程、數(shù)據(jù)管理、可視化，以及定義非“完整堆棧”。

正如筆者前面提到的，80%的工作在于準(zhǔn)備數(shù)據(jù)，以便能在項目環(huán)境中對數(shù)據(jù)進行處理。需要處理大量數(shù)據(jù)時，數(shù)據(jù)科學(xué)家要知道管理這些數(shù)據(jù)是非常重要的。

數(shù)據(jù)庫管理本質(zhì)上由一組可以編輯、索引和操作數(shù)據(jù)庫的程序組成。數(shù)據(jù)庫管理系統(tǒng)接受來自應(yīng)用程序的數(shù)據(jù)請求，并指示操作系統(tǒng)提供所需的特定數(shù)據(jù)。在大型系統(tǒng)中，數(shù)據(jù)庫管理系統(tǒng)幫助用戶在任何給定的時間點存儲和檢索數(shù)據(jù)。

數(shù)據(jù)庫管理能為數(shù)據(jù)科學(xué)帶來什么?

• 定義、檢索和管理數(shù)據(jù)庫中的數(shù)據(jù)
• 操縱數(shù)據(jù)本身、數(shù)據(jù)格式、字段名、記錄結(jié)構(gòu)和文件結(jié)構(gòu)
• 定義寫入、驗證和測試數(shù)據(jù)的規(guī)則
• 在數(shù)據(jù)庫的記錄層操作
• 支持多用戶環(huán)境并行訪問及操作數(shù)據(jù)

一些流行的數(shù)據(jù)庫管理系統(tǒng)包括：MySQL、SQL服務(wù)器、Oracle、IBM DB2、PostgreSQL和NoSQL數(shù)據(jù)庫(Mongo數(shù)據(jù)庫、Couch數(shù)據(jù)庫、Dynamo數(shù)據(jù)庫、H庫、Neo4j、Cassandra、Redis)

2. 機器學(xué)習(xí)/深度學(xué)習(xí)

如果你工作的公司管理并操作大量數(shù)據(jù)，并且決策過程是以數(shù)據(jù)為中心的，那么你可能需要掌握機器學(xué)習(xí)這一技能。機器學(xué)習(xí)是數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)的一個子集，就像統(tǒng)計學(xué)或概率一樣，它有助于數(shù)據(jù)建模和獲得結(jié)果。

面向數(shù)據(jù)科學(xué)的機器學(xué)習(xí)包括對機器學(xué)習(xí)至關(guān)重要的算法;KNN最近鄰算法，隨機森林，樸素貝葉斯，回歸模型，PyTorch、TensorFlow和Keras在數(shù)據(jù)科學(xué)機器學(xué)習(xí)中的也都很有用。

機器學(xué)習(xí)能為數(shù)據(jù)科學(xué)帶來什么?

• 欺詐監(jiān)測和風(fēng)險管理
• 醫(yī)療保健(蓬勃發(fā)展的數(shù)據(jù)科學(xué)領(lǐng)域之一!遺傳學(xué)、基因組學(xué)、圖像分析)
• 航線規(guī)劃
• 垃圾郵件自動過濾
• 面部和語音識別系統(tǒng)
• 改進的交互式語音響應(yīng)(IVR)
• 全面的語言和文檔識別和翻譯

3. 數(shù)據(jù)可視化

數(shù)據(jù)可視化實際上意味著什么?對筆者來說，它是數(shù)據(jù)中發(fā)現(xiàn)的圖形表示。可視化可以有效地溝通，并引導(dǎo)用戶探索得出結(jié)論。

筆者是數(shù)據(jù)可視化的核心人物。可視化使筆者可以從數(shù)據(jù)中構(gòu)思出故事，并創(chuàng)建全面的展示。數(shù)據(jù)可視化是更重要的技能之一，因為它不僅僅反映最終的結(jié)果，還能理解并學(xué)習(xí)數(shù)據(jù)及數(shù)據(jù)的脆弱性。

把事物形象地描繪出來總是好的;真正的價值已經(jīng)確立和理解了。創(chuàng)建可視化時，肯定會得到有意義的信息，令人驚訝的是，這些信息竟然可以影響系統(tǒng)。

直方圖、條形圖、餅圖、散點圖、折線圖、時間序列圖、關(guān)系圖、熱圖、地理圖、三維圖以及一長串可用于數(shù)據(jù)的可視化列表。如需更詳細的列表，請訪問此處。

數(shù)據(jù)可視化能為數(shù)據(jù)科學(xué)帶來什么?

• 為強大的觀點繪制數(shù)據(jù)
• 確定未知變量之間的關(guān)系
• 可視化需要關(guān)注或需要改進的領(lǐng)域
• 確定影響客戶行為的因素
• 了解將哪些產(chǎn)品放在哪里
• 顯示來自新聞、關(guān)系、網(wǎng)站、社交媒體的趨勢
• 可視化信息量
• 客戶報告、員工績效、季度銷售映射
• 針對用戶群體設(shè)計營銷策略

一些流行的數(shù)據(jù)可視化工具包括：Tableau、PowerBI、QlikView、谷歌分析(用于網(wǎng)絡(luò))、微軟Excel、Plotly、融合圖表、SAS

4. 多元微積分&線性代數(shù)

大多數(shù)機器學(xué)習(xí)，無一例外都是數(shù)據(jù)科學(xué)模型，都是由幾個預(yù)測因子或未知變量構(gòu)成的。多元微積分知識對建立機器學(xué)習(xí)模型有重要意義。以下是一些在數(shù)據(jù)科學(xué)工作中常見的數(shù)學(xué)話題：

• 導(dǎo)數(shù)和梯度
• 階躍函數(shù)、S型函數(shù)、邏輯函數(shù)、ReLU函數(shù)
• 成本函數(shù)(最重要)
• 函數(shù)繪制
• 函數(shù)的最小值和最大值
• 標(biāo)量、向量、矩陣和張量函數(shù)

5. 微軟Excel表

眾所周知，微軟的電子表格可能是處理數(shù)據(jù)最好用并且最流行的工具之一。還可能會聽到，“嘿，你收到老板發(fā)來的Excel表了嗎?”等一下，本文不是在討論數(shù)據(jù)科學(xué)的技能嗎?Excel?筆者總認為一定有什么簡單的方法來管理數(shù)據(jù)。隨著用Excel進行數(shù)據(jù)管理的經(jīng)驗積累，筆者意識到，Excel是:

• 2D數(shù)據(jù)的最佳編輯
• 對高級數(shù)據(jù)進行分析的基礎(chǔ)平臺
• 在Python中實現(xiàn)與運行中Excel表的實時連接
• 讓你可以在任何時候做任何你想做的事，并保存你喜歡的版本
• 使數(shù)據(jù)操作相對簡單

如今，大多數(shù)非技術(shù)人員經(jīng)常使用Excel表替代數(shù)據(jù)庫。這可能是一個錯誤的用法，因為Excel表在某種程度上缺乏版本控制、準(zhǔn)確性、可再現(xiàn)性或可維護性。然而，Excel所能做的也令人驚訝!

Excel能為數(shù)據(jù)科學(xué)帶來什么?

• 命名并創(chuàng)建范圍
• 過濾、排序、合并、修剪數(shù)據(jù)
• 創(chuàng)建透視表和圖表
• Visual Basic for Applications (VBA)[如果你還不知道這是什么的話，谷歌一下。這是微軟的超能力，在這里三言兩語說不清楚。VBA是Excel的編程語言，使你可以運行循環(huán)、宏，if..else語句]
• 清除數(shù)據(jù)：刪除重復(fù)值，在絕對、混合和相對之間更改引用
• 在數(shù)千條記錄中查找所需數(shù)據(jù)

6. DevOps

頂級數(shù)據(jù)公司" src="http://p3.pstatp.com/large/pgc-image/de8671c26d984a89867aa8868167ac2d" _fcksavedurl="http://p3.pstatp.com/large/pgc-image/de8671c26d984a89867aa8868167ac2d" width="640" height="314">

筆者一直聽說并相信數(shù)據(jù)科學(xué)是為懂?dāng)?shù)學(xué)、統(tǒng)計學(xué)、算法和數(shù)據(jù)管理的人而設(shè)的。不久前，筆者遇到了一個在核心開發(fā)方面有超過6年經(jīng)驗的人，他正在探索數(shù)據(jù)科學(xué)領(lǐng)域的職業(yè)轉(zhuǎn)變。筆者出于好奇心研究了DevOps是否以及如何成為數(shù)據(jù)科學(xué)的一部分。雖然筆者對DevOps知之甚少(實際上，是什么都不知道)，但有一點是肯定的：DevOps對數(shù)據(jù)科學(xué)越來越重要。

DevOps是一套將軟件開發(fā)和信息技術(shù)操作相結(jié)合的方法，旨在縮短開發(fā)生命周期并提供高質(zhì)量軟件的不間斷交付。

DevOps團隊與開發(fā)團隊密切合作，有效地管理應(yīng)用程序的生命周期。數(shù)據(jù)轉(zhuǎn)換要求數(shù)據(jù)科學(xué)團隊與DevOps密切合作。DevOps團隊預(yù)計將使用高可用性的Apache Hadoop、Apache Kafka、Apache Spark和Apache Airflow集群來處理數(shù)據(jù)提取和轉(zhuǎn)換。

DevOps 會為數(shù)據(jù)科學(xué)帶來什么?

• 提供、配置、擴展和管理數(shù)據(jù)集群
• 通過持續(xù)集成、部署和監(jiān)控數(shù)據(jù)來管理信息基礎(chǔ)架構(gòu)
• 創(chuàng)建腳本，自動為各種環(huán)境調(diào)配和配置基礎(chǔ)。

7. 概率&統(tǒng)計

數(shù)據(jù)科學(xué)是關(guān)于如何使用資本過程、算法或系統(tǒng)從數(shù)據(jù)中提取信息、見解等，以做出明智的決策。在這種情況下，做出推論、估計或預(yù)測就構(gòu)成了數(shù)據(jù)科學(xué)的重要部分。

在統(tǒng)計方法的幫助下，概率有助于為進一步分析作出預(yù)估。統(tǒng)計學(xué)主要依賴于概率論。簡而言之，概率與統(tǒng)計兩者相互交織。

概率和統(tǒng)計能為數(shù)據(jù)科學(xué)帶來什么?

• 探索并了解更多的數(shù)據(jù)信息
• 確定兩個變量之間可能存在的潛在關(guān)系或依賴關(guān)系
• 預(yù)測未來趨勢或基于之前的數(shù)據(jù)趨勢來預(yù)測趨勢
• 確定數(shù)據(jù)的模式或動機
• 發(fā)現(xiàn)數(shù)據(jù)中的異常

尤其是對于數(shù)據(jù)驅(qū)動型公司來說，利益相關(guān)者依賴數(shù)據(jù)進行決策和設(shè)計/評估數(shù)據(jù)模型，概率和統(tǒng)計是數(shù)據(jù)科學(xué)不可或缺的部分。

8. 編程、軟件包和軟件

當(dāng)然!數(shù)據(jù)科學(xué)本質(zhì)上是關(guān)于編程的。數(shù)據(jù)科學(xué)領(lǐng)域的編程技能匯集了能夠?qū)⒃紨?shù)據(jù)轉(zhuǎn)化為可操作見解的所有基本技能。雖然對編程的語言選擇沒有具體規(guī)則，但Python和R是最受歡迎的。

對于編程語言的偏好或平臺選擇，筆者并不執(zhí)著。數(shù)據(jù)科學(xué)家只是選擇一種編程語言來解決手頭的問題。然而，Python似乎已經(jīng)成了數(shù)據(jù)科學(xué)的通用語言。

這里有一個編程語言列表和一些可供數(shù)據(jù)科學(xué)選擇的軟件包，順序不分先后：

• Python
• R
• SQL
• Java
• Julia
• Scala
• MATLAB
• TensorFlow (非常適合Python中的數(shù)據(jù)科學(xué))

并且，本文不是在寫能用數(shù)據(jù)科學(xué)的編程技能做什么

下文全都是關(guān)于編碼的。如果沒有編碼經(jīng)驗或不熟悉編碼知識，數(shù)據(jù)科學(xué)將會很困難。因此，筆者總喜歡先溫習(xí)Python技能，閱讀項目相關(guān)文獻，然后才開始構(gòu)建代碼。

9. 數(shù)據(jù)爭論

通常，企業(yè)需要或接收的數(shù)據(jù)還并不適合用于建模。因此，非常有必要理解并掌握如何處理不完美的數(shù)據(jù)。

數(shù)據(jù)爭論是為做進一步分析準(zhǔn)備數(shù)據(jù)的過程;將原始數(shù)據(jù)從一種形式轉(zhuǎn)換和映射到另一種形式，為深入了解數(shù)據(jù)做準(zhǔn)備。對于數(shù)據(jù)爭論，基本上就是獲取數(shù)據(jù)，合并相關(guān)字段，然后清理數(shù)據(jù)。

數(shù)據(jù)爭論能為數(shù)據(jù)科學(xué)帶來什么?

• 通過從多個渠道收集數(shù)據(jù)，揭示數(shù)據(jù)中的深層智能
• 及時、準(zhǔn)確地描述企業(yè)和數(shù)據(jù)分析師手中可操作數(shù)據(jù)
• 減少處理時間、響應(yīng)時間以及收集、組織不規(guī)則數(shù)據(jù)所花費的時間
• 使數(shù)據(jù)科學(xué)家能夠更加關(guān)注數(shù)據(jù)分析，而不是數(shù)據(jù)清理部分
• 領(lǐng)導(dǎo)數(shù)據(jù)驅(qū)動的決策過程，朝著準(zhǔn)確數(shù)據(jù)支持的方向發(fā)展

10. 云計算

數(shù)據(jù)科學(xué)的實踐通常包括使用云計算產(chǎn)品和服務(wù)來幫助數(shù)據(jù)專業(yè)人員訪問管理和處理數(shù)據(jù)所需的資源。[customerthink.com]數(shù)據(jù)科學(xué)家的日常通常包括分析和可視化存儲在云中的數(shù)據(jù)。

你可能已經(jīng)了解到數(shù)據(jù)科學(xué)和云計算是相輔相成的，這通常是因為云計算幫助數(shù)據(jù)科學(xué)家使用諸如AWS、Azure、谷歌云等平臺，通過這些平臺能夠訪問數(shù)據(jù)庫、框架、編程語言和操作工具。

熟悉數(shù)據(jù)科學(xué)包括與大量數(shù)據(jù)的交互這一事實，鑒于工具和平臺的規(guī)模和可用性，理解云計算的概念對數(shù)據(jù)科學(xué)家來說不僅是一項相關(guān)技能，也是一項關(guān)鍵技能。

云計算能為數(shù)據(jù)科學(xué)帶來什么?

• 數(shù)據(jù)采集
• 解析、管理、爭論、轉(zhuǎn)換、分析和數(shù)據(jù)殺毒
• 數(shù)據(jù)挖掘[探索性數(shù)據(jù)分析(EDA)，匯總統(tǒng)計，…
• 驗證和測試預(yù)測模型、推薦系統(tǒng)和諸如此類的模型
• 調(diào)整數(shù)據(jù)變量并優(yōu)化模型性能

一些流行的數(shù)據(jù)科學(xué)云平臺包括亞馬遜網(wǎng)絡(luò)服務(wù)、WindowsAzure、谷歌云或IBM云。筆者有時還讀到，有人在嘗試阿里巴巴云，這聽起來很有趣。

你具備以上技能嗎?