航運大數據的羅生門
1、什么是航運大數據?
2015年夏,國務院相繼出臺了《關于運用大數據加強對市場主體服務和監管的若干意見》和《促進大數據發展行動綱要》,一時間各行業大數據風起云涌,就連古老的航運業也加入了這支浩蕩的創新隊伍之中。
大數據概念炙手可熱,可是其內涵卻撲朔迷離。關于什么是航運大數據這個問題:如果你問IT人,他會跟你舉出NoSQL、Hadoop、Spark之類的新技術,換句話說IT人眼中的大數據是傳統技術解決不了的數據問題;如果你問港口、航運從業者,他們會想到是業務上涉及的數據可以輕松獲取,數據調查、分析可以更容易,戰略規劃可以依靠數據來說話,甚至想到自己的飯碗可能會被大數據取代,換句話來說港航從業者眼中能用數據來解決問題就是大數據;
如果你問政府官員,他會告訴你大數據是政府信息公開,推進行業大數據的應用,運用數據科學監管,服務行業服務社會等,可見在政府官員眼中數據的開放、共享、應用就是大數據。所以,一個有趣的現象發生了,那就是大家明明對大數據的理解不同,卻能聊在一起,這是為什么呢?航運大數據之所以被各界關注,本質還是因為數據是用來支撐經營和決策的,當人們覺得大數據是未來的發展方向時,就急于去了解和掌握它,希望自己可以在競爭爭取上游、避免淘汰。在低迷了近9年的航運市場里,這種心情的迫切程度可想而知。
筆者曾在《大數據時代的航運信息平臺》一書中,給出過航運大數據的定義:航運大數據(Shipping Big Data)是指航運業務、管理、監管等領域產生的海量數據,以及圍繞這個數據規模有效的融合、存儲、加工、查詢、分析相關技術和解決方案的統稱。主要可以解決三大問題:實時數據計算、歷史數據分析、未來數據預測。這個定義算是開宗明義,為我們下面的探討打一個基礎。
2、航運大數據究竟處于哪個階段?
要探討航運大數據首先要認清我們處于哪一個階段,不用談之色變。我們正處在一個經濟泡沫尚未消退,概念泡沫迅速膨脹的時代,理論上可行的概念和實踐之間距離越來越大。
擁有數據和掌握數據一樣嗎?比方說,你的電腦上有1萬張照片,你能很快找到你兒子劃船的那張嗎?你每天要處理大量的公務文件,你能馬上找出首付款只有30%的那份合同嗎?雖然你知道他們就在你的硬盤上。所以說,擁有數據和掌握數據是不一樣的,所以你還沒有掌握數據的時候,談什么大數據都是空談。
面對大數據航運業的各個主體又何嘗不是面臨著這樣的窘境呢?
比如,政府要做信息開放和大數據應用時,發現單位里幾十套信息系統的數據結構、內容很難理清楚,企業填報的監管數據可靠度不清楚,行業需要什么樣的數據服務不清楚,該怎么實施大數據的路徑也不清楚,有一些敏感的數據如何脫敏公開也不清楚;
又比如,企業做大數據,著可以分三類。
- 第一類是大的港航企業,它們在這個行業生存,現在的體量已經很大,一般都是有很清晰的主營業務了,這些主營業務盈利狀況還好的話,他們很難有創新機制去探索大數據應用,因為所有的數據都在為核心業務的流程推進服務,那些需要冒大風險去嘗試新興市場機會的決策難以產生,即使運用大數據做一些分析,也只是停留在企業BI(商業智能)分析上,很少有新業務和對外服務的應用;
- 第二類是中小企業,它們的數量非常龐大,比如上海的貨代就有1萬多家,雖然提單、報關、貿易、拖車等方面的數據都會通過它們,但是它們未必有統一的信息系統,零散的數據很難匯集并產生數據的規模效應;
- 第三類是航運電商企業,它們的業務很多都是在線提供的,對信息的格式的標準化呀,還有業務的線上執行都有比較高的要求,也存在要給客戶提供數據服務的需求,也存在嘗試高風險、高收益的創新勇氣,所以這些企業對大數據更為看重,寄希望于推出增值服務和帶動盈利增長,但是由于航運業的線上交易量尚未形成氣候,可以用來分析的數據太少,雖然可以依賴網絡爬蟲來抓取但是朝不保夕,有公信力的大數據分析一定要基于充足的樣本,這成為這些企業目前無法真正突破大數據的瓶頸。
那么今天,你如果要問我,我們究竟處于哪個階段?我可以告訴大家不用緊張,雖然大數據的概念很好,但是,我目前還只是處于起步階段。
3、航運大數據很難做
羅馬是一天建成的嗎?做大數據絕對不是三兩年就能夠做成的一件事情,因為它是需要一個土壤和基礎的。比如說我們港口、航運業的數據規范性、一致性、數據共享程度都不高的話,大數據是很難發展起來的。
最先去實踐大數據的都是些什么樣的行業呢?是一些沒有實物商品和線下服務的領域。比如,金融行業大部分交易都在網上的信息系統中完成,數據的規范性和準確性都有良好的保障,所以能先發展大數據;還有出版行業、媒體、手機app這些行業,用戶的消費可以虛擬提供,還可以在提供服務時采集用戶數據,比如看視頻的網站可以分析用戶喜歡什么內容,手機app市場可以分析每個軟件的用戶年齡結構等。
所以,航運業屬于目前還不適合做大數據的行業,一旦一種服務,要通過線下實際的線下去提供一種商品和服務,而不能夠完全通過信息系統去解決,就會導致很多數據不會保存下來,失去了做大數據的基礎。所以,要么讓機器代替人去線下搜集數據,要么把交易和服務完全放到線上來,航運大數據因此也就只有兩個來源,那就是物聯網和航運電商。
即使有了電商平臺,大數據的發展也要很長的周期。例如提供實物商品交易的淘寶網,大約在2005年左右成立上線,發展到2010年才剛剛完成利用數據支撐平臺運營,到2015年才真正有能力面向社會提供各種大數據分析服務。
所以,筆者大膽的預言,航運大數據大行其道應該需要10-20年的發展周期。
4、航運大數據的真正價值在于細節和異常分析
雖然航運大數據的發展道路任重道遠,但是航運業原本就有一些傳統數據服務。這些服務基于一些抽樣、人工采集、統計分析的手段,已經在為這個行業提供著重要的信息。與他們相比,航運大數據要長足發展必須找到自身的優勢,那就是對細節和異常的分析。
一方面,傳統指標數據對于表達宏觀信息效果已經很好,大數據能彌補其在微觀分析上的不足。大多數情況下,指標性數據已經可以解決大部分企業的需要了,但它沒法還原出很多細節的問題。比如,像各家班輪公司的船期表、船舶的建造信息、某個船東的船隊陣容、每個港口各種貨物的吞吐量等這較宏觀的數據,現在都能比較方便的獲得。但當我們把問題深挖一層,我們想知道船期表上每個班次的準點率、每條船的準點率,船舶的每次維修費用和加油量,某個船東在各個航線上的運力投放策略,港口貨物吞吐量中小麥的水路轉運量和目的地等,這些傳統統計口徑沒法回答,這就是大數據擅長的方面了。
另一方面,傳統的數據描述著這個航業通常的運行情況,但是無法感知異常情況的發生。很多時候數據是平淡而乏味的,比如大部分的船都是長期來往于自己善于經營的區域,偶爾查詢一下船舶位置也會發現沒什么變化。但是,有一天某一種船型突然開始轉移到一個航線上,一些船被悄悄的封存起來了,一些航道突然進入了一些比以往更大的船,這樣的變化要在初期發現就需要計算機長期精確的分析,而不是人工偶爾的抽查,這些異常情況往往蘊含著重要的信息。
5、結語
寫這樣的一篇文章,并不是要為航運大數據潑一盆冷水,而是希望與所有正在關注、從事航運大數據的朋友們共勉,路漫漫其修遠兮,不論今天大數據的概念如何風光,明天大數據的概念是否會被淡忘,只要我們堅信數據中蘊含著能讓航運業變革的重要信息,我們就要踏踏實實的把大數據做成實事,真正做好,不忘初心、上下求索!