[[438619]]

大家好，我是一哥，最近有一位數(shù)據(jù)新人小伙伴私聊我：在平時的工作中會面臨著大量的數(shù)據(jù)需求，不僅多，而且雜，請問如何處理面對這些問題?有沒有什么好的提高工作效率的方法?

其實(shí)不止是作為數(shù)據(jù)新人會面臨這樣的“困境”，很多數(shù)據(jù)工程師都有著這樣的困惑，干了一兩年感覺沒意思，抱怨天天就是“提數(shù)”。一哥之前寫過一篇文章《數(shù)倉工程師如何避免淪為“提數(shù)機(jī)”》，大家可以參考下。

面對這位小伙伴的困惑，我思考后給了她一些建議的，今天也系統(tǒng)的整理一下，給大家作為參考。

01業(yè)務(wù)的重要性

一哥做數(shù)據(jù)工作，呆過三家公司，做過新人也帶過新人。經(jīng)過“被工作的毒打”后，建議大家入職后較好的順序是先理解業(yè)務(wù)，多跟業(yè)務(wù)打交道，對底層數(shù)據(jù)和業(yè)務(wù)之間的邏輯關(guān)系先大致心里有個譜。然后自己開始梳理業(yè)務(wù)體系，心里有個框架，一般純業(yè)務(wù)的需求都比較平常，基本跳不出體系框架，一哥之前也寫過另一篇文章來說業(yè)務(wù)的重要性《業(yè)務(wù)重要?還是技術(shù)重要?》。

熟悉業(yè)務(wù)后，開始對接需求。有時候不同業(yè)務(wù)有時可能會提重復(fù)的需求，對于這種需求，要么把代碼和計算流程優(yōu)化好，要么覺得不合理“懟”回去(當(dāng)然不是硬懟哈，我們有業(yè)務(wù)滿意度考核……)，要么你就得開始研究下，看可不可以在平臺上做成固化的數(shù)據(jù)產(chǎn)品。比較特別的，尤其是探索性的分析項目，是可以接受稍長一些時間的，中間可以和業(yè)務(wù)做探討。

業(yè)務(wù)是可以分門別類的，最好可以自己梳理好，做好一些好的小工具。不過只接提數(shù)需求確實(shí)沒啥意思，慢慢對業(yè)務(wù)熟悉了，就可以參與業(yè)務(wù)流程的制定，也可以自己給自己提的業(yè)務(wù)問題做數(shù)據(jù)分析(瞎折騰)才是真好玩。

02提數(shù)神器的重要性

有時候確實(shí)沒辦法拒絕業(yè)務(wù)部門需求，各種姿勢各種要求,由于有績效這座大山，提高自己的效率來應(yīng)對層出不窮的需求可謂最好的方法，同時提數(shù)的過程也有助于加強(qiáng)業(yè)務(wù)理解(熟能生巧嘛)。

正所謂你有政策我有對策，好的方法和工具往往能高效完成工作以免不必要的加班，在這列舉幾個常用的提數(shù)加工神器：

Excel

熟練數(shù)據(jù)透視表，Vlookup等常見公式,不要瞧不起Excel，有時候它的效率確實(shí)挺高的。

針對業(yè)務(wù)部門需求固定格式的數(shù)據(jù)或者報表，可用Excel將模版寫好備用，有新數(shù)據(jù)需求時直接復(fù)制套入，即刻完成。

Sql

數(shù)據(jù)人必備語言，針對業(yè)務(wù)定時需求的數(shù)據(jù)或者報表，可以用類似navicat的定時功能，提前將查詢語句寫好排版，軟件會在指定時間將結(jié)果文檔推送至郵箱。

Python

python的numpy,pandas,matplot是數(shù)據(jù)分析三個神器 。python可以直連數(shù)據(jù)庫，連接Hive，連接Spark(好像沒有它不能連的……)。也可以導(dǎo)入現(xiàn)有數(shù)據(jù)，只需提前將數(shù)據(jù)處理語句寫好，需要的時候應(yīng)用就行，一勞永逸。

shell

前幾天有同學(xué)問shell除了執(zhí)行部署的jar包，還能做什么?那么你一定不知道awk、sed有多強(qiáng)大。曾經(jīng)用shell腳本寫過上千行的數(shù)據(jù)處理腳本，離開公司4年了，聽說還在用呢!

每天一個shell命令，趕緊學(xué)起來吧!

03工作方法論的重要性

首先，需求多，說明你們公司數(shù)據(jù)需求很多，給你施展才華的機(jī)會很多!

現(xiàn)在流行一個詞——“套路”，工作同樣也是有“套路”的，我們稱之優(yōu)雅的稱之為為“方法論”。

需求優(yōu)先級

1)繁雜的需求

需要抽絲剝繭，把復(fù)雜的類目整理成簡單的條目，并且明確其中的主次重點(diǎn)，再逐條拆解。不過數(shù)據(jù)分析本身，有些需求，的確是很復(fù)雜，需要一些時間去思考整理的。這就要看你手上的工作情況了，包括判斷個人在處理這些問題上的難易程度。

2)突然的需求

說明需求很緊急，這就需要對工作需求的輕重緩急，有個明確的判斷。再結(jié)合完成需求的時間長短，有的需求的確比較著急，是需要優(yōu)先處理，有的相對可以緩一緩，復(fù)雜度高的需求，又急的話，可以先給其中個別重要的，其他的給出完成計劃。

溝通

自己對需求有了上述判斷后，并不是立刻就開始執(zhí)行了，一定要和業(yè)務(wù)溝通，否則可能會出力不討好。

如果兩個需求方都要的比較急，必要的時候讓他們自己協(xié)調(diào)下，畢竟你一個人時間有限，而且數(shù)據(jù)需求，又要求精確細(xì)致，不能通過壓縮分析時間來完成任務(wù)，要有自己的工作標(biāo)準(zhǔn)，保證給出的數(shù)據(jù)都是準(zhǔn)確率的，可使用的。

三人行，……

如果是日常的工作，總結(jié)出方法論，快速處理即可;如果是難度較高、挑戰(zhàn)較大的工作，也是值得花更多心思的，就理應(yīng)花更多心思去研究;如果是難到自己不能完成，需要求助的，一定要和同事多討論。古人有云：三人行，必有我?guī)熝伞ｋm然我們可能是諸葛亮，但古人亦有云：三個臭皮匠頂個諸葛亮。在討論過程中或許你就會會發(fā)現(xiàn)一些其他方法。

個人認(rèn)為，不論是數(shù)據(jù)工程師，或是產(chǎn)品經(jīng)理、運(yùn)營，亦或是其他崗位的工作，都是會遇到這樣類似的情況，提高效率最有效的方法：總結(jié)方法論，找到最為快捷解決復(fù)雜問題的工作思路。學(xué)會對本質(zhì)問題的分析，善于抓住重點(diǎn)，這樣就不會被紛繁瑣碎的事情干擾而浪費(fèi)掉大量的時間。善于利用自己的時間去處理更為緊要更有價值的事情，用最少的時間，掙更多的錢。

本文轉(zhuǎn)載自微信公眾號「數(shù)據(jù)社」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系 數(shù)據(jù)社公眾號。