據(jù)外媒報道，新加坡2萬公務(wù)員將在未來5年內(nèi)接受數(shù)據(jù)分析培訓(xùn)，新加坡政府已任命***數(shù)據(jù)戰(zhàn)略官員，領(lǐng)導(dǎo)實現(xiàn)政府各部門的數(shù)據(jù)化計劃。大數(shù)據(jù)時代，公務(wù)員們都得是“數(shù)據(jù)”高手!數(shù)據(jù)分析在新加坡已經(jīng)是最熱門的職業(yè)，也是應(yīng)屆生們的***職業(yè)之一。

大數(shù)據(jù)風(fēng)潮席卷全球，為什么人人都要學(xué)數(shù)據(jù)分析?

1.為什么要學(xué)數(shù)據(jù)分析

大數(shù)據(jù)號稱新時代的石油，很多行業(yè)都開始用數(shù)據(jù)驅(qū)動業(yè)務(wù)，通過對數(shù)據(jù)的分析和挖掘，從單純的數(shù)據(jù)報表，到建模分析，深入挖掘，來幫助業(yè)務(wù)部分來系統(tǒng)的思考問題。

同時，數(shù)據(jù)分析也相對容易一些，比較好上手。

Python的應(yīng)用的領(lǐng)域可以分為爬蟲、web開發(fā)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等方向。和機(jī)器學(xué)習(xí)相比，數(shù)據(jù)分析偏業(yè)務(wù)，機(jī)器學(xué)習(xí)偏工程，數(shù)據(jù)分析入門對數(shù)學(xué)功底和算法基礎(chǔ)的要求并不是特別高。

2.為什么選Python做數(shù)據(jù)分析

可以來做數(shù)據(jù)分析的語言和工具比較多，為什么偏偏選Python?

拿常見的R語言和Excel來說：

R語言其實是為統(tǒng)計學(xué)而生的語言，用來做統(tǒng)計學(xué)確實非常厲害。

但是R語言在語法的美觀和使用的簡潔便利上看，要比Python差很多，小函數(shù)一堆，而且語法不好理解，沒有Python這么容易上手和通熟易懂。

而 Excel只能做一些簡單的處理邏輯處理，適合小規(guī)模的數(shù)據(jù)集，或者簡單的數(shù)據(jù)清洗，對于復(fù)雜的邏輯處理，數(shù)據(jù)清洗，還是用Python來的方便。

3.數(shù)據(jù)分析崗位職業(yè)發(fā)展路徑

在數(shù)據(jù)科學(xué)領(lǐng)域，有三個不同的角色，分別是：商業(yè)分析師，數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家，難度依次遞增。 

1.商業(yè)分析師

商業(yè)分析師的工作主要圍繞報表和指標(biāo)這兩塊兒，包括：

• 定義關(guān)鍵績效指標(biāo)
• 設(shè)計和實現(xiàn)報表
• 從用戶那里收集報表需求
• 與數(shù)據(jù)工程師對接確保數(shù)據(jù)被正確地收集和存儲
• 查詢數(shù)據(jù)(一般是聚合過的)

2.數(shù)據(jù)工程師

數(shù)據(jù)工程師的工作主要圍繞架構(gòu)和收集這兩塊兒，包括：

• 通過寫數(shù)據(jù)傳輸包、設(shè)計聚合過程、優(yōu)化存儲，來構(gòu)建和維護(hù)數(shù)據(jù)傳輸和存儲的基礎(chǔ)設(shè)施
• 將生產(chǎn)環(huán)境產(chǎn)生的原始數(shù)據(jù)，轉(zhuǎn)換為商業(yè)分析師可以用來制作報表的格式化的數(shù)據(jù)

3.數(shù)據(jù)科學(xué)家

數(shù)據(jù)科學(xué)家的工作主要圍繞預(yù)測和優(yōu)化這兩塊兒，包括：

• 負(fù)責(zé)構(gòu)建預(yù)測算法，以提升用戶體驗，最終增加參與度、留存率、收益
• 負(fù)責(zé)數(shù)據(jù)驅(qū)動的產(chǎn)品的改進(jìn)和建議

這其實是一個金字塔，商業(yè)分析師位于金字塔的***層，數(shù)據(jù)科學(xué)家位于金字塔的最頂層。

4.數(shù)據(jù)分析師的薪資如何

拉勾網(wǎng)上數(shù)據(jù)分析師基本上在1-2年經(jīng)驗的平均年薪在20萬左右。 

再看一下數(shù)據(jù)分析師的崗位主要需求城市： 

主要是在北上廣深和杭州 5個大的城市，其中北京的需求最多，幾乎是第2/3/4位的總和。

5.數(shù)據(jù)分析需求技能

數(shù)據(jù)分析的內(nèi)容多，而且比較全面，比如我們前面寫了很多關(guān)于房地產(chǎn)，拉勾照片，旅游網(wǎng)站的數(shù)據(jù)，一般來說數(shù)據(jù)分析分下面幾個過程：

***步：數(shù)據(jù)的爬取

數(shù)據(jù)分析過程非常像我們平時做飯，***步要先買菜，如何獲取數(shù)據(jù)呢，很多時候我們需要爬取數(shù)據(jù)，爬蟲涉及的知識比較多：

比如常見的http原理，爬蟲的基本解析庫reuqests，網(wǎng)頁解析庫BS,Pyquery,掌握一些分布式爬蟲的框架，當(dāng)然還有一些反爬蟲的策略。當(dāng)然如果我們能有現(xiàn)成的數(shù)據(jù)集會方便很多。

第二步：數(shù)據(jù)格式的處理和清洗

買好了菜，接著我們需要洗菜，也就是數(shù)據(jù)清洗!常見的數(shù)據(jù)集都是csv和json格式，需要熟練的掌握著兩種格式的。Python中數(shù)據(jù)分析的神兵利器是Pandas,這個庫非常好用，功能也是非常強(qiáng)大的?？梢詫?shù)據(jù)進(jìn)行各種花色的清洗和切割，幾乎所有用Python玩數(shù)據(jù)分析，必須學(xué)會pandas庫的用法。

第三步：數(shù)據(jù)的存儲

清洗完成之后數(shù)據(jù)需要存儲起來，一般用的比較多的 SQL 和 MongoDB。幾乎所有的數(shù)據(jù)分析師招聘都會面試SQL的用法，所以掌握一門數(shù)據(jù)的使用是非常有必要的!基本的增刪改查這樣入門級的操作，一定要熟練掌握。

第四步：數(shù)據(jù)的探索

我拿到一個數(shù)據(jù)集之后，需要對數(shù)據(jù)進(jìn)行探索，分析數(shù)據(jù)之間的關(guān)系，每個特征值，每個變量的之間相關(guān)性和相互的影響，比如常見的EDA 探索數(shù)據(jù)分析法。

單變量，雙變量和多變量的探索，可以從很多角度，對數(shù)據(jù)進(jìn)行切片分析，非常數(shù)據(jù)集中的變量之間的關(guān)系，找出相關(guān)性比較強(qiáng)的數(shù)據(jù)。

如果需要對數(shù)據(jù)進(jìn)行深入的挖掘，需要了解機(jī)器學(xué)習(xí)的相關(guān)算法，大體分監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，比如回歸問題，分類問題。這部分對數(shù)據(jù)集進(jìn)行深入挖掘之后，可以找出數(shù)據(jù)間的規(guī)律，訓(xùn)練好的之后，可以預(yù)測數(shù)據(jù)，很是牛逼。

第五步：數(shù)據(jù)的可視化

展現(xiàn)數(shù)據(jù)***的方法就是數(shù)據(jù)可視化，數(shù)據(jù)的可視化有很大的庫，比如 echart，matplotlib，d3 和 Tableau，當(dāng)然還有excel，一般數(shù)據(jù)分析師必須要掌握exce或者Tableau。尤其是Tableau現(xiàn)在越來越多的公司用它來做可視化分析，有一個有趣的必然，同樣一個庫用R語言需要30分鐘才能完成，Tableau只需要5分鐘。