成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數據API經濟與大規模數據流通:從水的寓言說起

大數據
近期數據API接口服務逐漸興起,正因數據API服務允許需求方“挑數據”,并具備“開箱即用”以及降低交易成本與門檻等優點,將會成為數據能力開放與交易流通的重要手段。但數據API從當前的實踐來看遠非完美,運營不慎會導致類似金融領域洗錢行為的“洗數”活動出現,并在隱私保護、計費方面存在不足,因此本文提出了“增強型數據交換導向API”的概念,使得數據API經濟能在深思熟慮的頂層設計下運行。本文將從一個寓言故事引出上述探討。

近期數據API接口服務逐漸興起,正因數據API服務允許需求方“挑數據”,并具備“開箱即用”以及降低交易成本與門檻等優點,將會成為數據能力開放與交易流通的重要手段。但數據API從當前的實踐來看遠非完美,運營不慎會導致類似金融領域洗錢行為的“洗數”活動出現,并在隱私保護、計費方面存在不足,因此本文提出了“增強型數據交換導向API”的概念,使得數據API經濟能在深思熟慮的頂層設計下運行。本文將從一個寓言故事引出上述探討。

[[184784]]

文:胡嘉琪/亞信數據銀行行業線資深顧問

水的寓言故事:自古以來,水資源都是分布不均的,大多數湖泊、河流系統互不相通,人們自發地從附近的水源地打水灌溉、飲用。然而遠離水源的居民要么親自跋山涉水取得用水,要么從水商人處購買用水–生活在水源附近的居民慢慢發現,水源的水除了自身使用以外,原來還能對外開放賣錢。逐漸有經濟頭腦、希望將自身水資源變現的水商人出現了,最早的水商人將水放到水車里面直接整車水出售,但逐漸發現這種方法效率低下,因為用戶即使僅僅需要一點點水做飯,也不得不買回整車水。這時候,一個聰明的水商人發明了自來水–直接將水從水源地通過水管接入用戶家,打開水龍頭就能用水了,并按使用量收費,大大減少了運輸成本,也為用戶提供了按需使用的便利。

看到這個巨大的商機,越來越多的水商人開始發展自來水服務,希望能把自己的水龍頭接到用戶家。面對同質化競爭,相信大家也會想到結果:逆向選擇產生了。部分水商人們開始以次充好,通過接入有污染的水源降低成本從而取得市場,誠信的水商人逐漸被趕出市場,臟水最終充斥于管道中。人們不得不額外購買凈水設備,最終成本一算還不如直接整車買水,整個自來水市場陷入崩潰。這時候,國王出來了,制定了自來水供應的標準規范,規定了水源質量標準、水管用料、水龍頭性能、水表構造等一系列通用標準,并強制水商人按標準使用,逐漸杜絕了自來水逆向選擇現象,人們最終用上了安全、放心的廉價自來水。

數據API服務的劃時代意義

如果把數據比作水資源的話,數據交易與流通最原始的形態,就是以數據集為交易單位的批數據交易與流通,如同寓言故事中水商人將水整車出售。然而采取整批數據交易與流通的方式無疑是低效的,首先數據的價值具有較強的相對性,假設有一個包括中國13億人的興趣愛好標簽數據集需要流通,實際上大部分企業只需要其中的一部分數據,讓數據需求方把全體數據買回去無疑是不經濟的,數據交易與流通需要給予數據需求方“挑數據”的能力。其次,整個數據集的流通必然帶來很大的數據應用難度–需求方還需要額外對數據集進行數據處理、分析、挖掘才能獲取其中的價值,無法達到數據“開箱即用”的便利性;最后,批數據交易方式本身,同時抬高了交易成本與門檻。畢竟這種一錘子買賣的方式將購買方置于信息不對稱的一端,在獲取到數據之前通常很難準確判斷其真實價值,就如同購買玉石原石一樣,在切開前僅能憑經驗與運氣判斷其成色,無疑大幅提高了交易因為信息不對稱導致的交易成本。

而數據API接口的產生,賦予了數據交易與流通猶如“擰水龍頭”一樣的使用方式,相對完美地解決了上述數據交易與流通中“挑數據”、“開箱即用”以及降低交易成本與門檻三個關鍵問題。了解IT技術的人都清楚API(Application Program interface,應用程序接口)是關于兩個不同主體(如數據供需雙方)程序間“交流”和“交換”數據方式的規范,通過API規范能實現主體之間數據的精確交換。如一個典型的“三元驗真”數據API是這樣的:

業務場景:幫助金融機構核實申請人的身份準確性,具體而言金融機構擁有申請人的姓名、身份證以及手機號三個元素,希望有途徑核實三者是能對應上的,從而防范虛假身份申請。

數據源:運營商的實名制數據恰好能匹配這個需求。

數據API形態:金融機構向運營商傳輸一組申請人的姓名、身份證以及手機號,API返回是否匹配的結果。

這種猶如“擰水龍頭”的數據使用方式,對于需求方來說可謂完美地解決了 “挑數據”的需求,并賦予了需求方直接挑數據項的精度;同時也是一項“開箱即用”的數據服務,相信這點無須論述,需求方唯一需要做的僅是部署簡單的本地程序;而最為有意義的是,數據API大大降低了數據交易的成本和門檻,對激活交易市場非常有幫助,因為一方面數據API是按需消費,無需購買全量數據,同時很大程度地減少數據質量的爭議。如果需求方查詢了幾個數據發現都不可靠,那就自然不會繼續使用了。這不僅有利于減少需求方對數據質量的疑慮,同時倒逼供給方做好數據質量。

正因為數據API具備如此顯著的優勢,目前已經成為業界試水數據開放與交易的最熱門方式。除傳統BAT外,京東、海南航空等業界巨頭在數據能力開放中均使用了數據API作為數據交換標準,另外更出現了如聚合數據等平臺性玩家,匯聚跨行業數據API打造數據交易生態體系。下表是部分典型數據API開放接口運營商的信息,大家可自行體驗感受下。

大數據

實際上,API并不是一個新鮮事物,早在2012年谷歌已經創造了每天通過API處理50億筆交易的記錄,而著名SaaS提供商Salesforce年收入中有一半是通過API產生的,“API經濟”早已成為科技界的一個熱詞,只是過去API接口交換的內容更多是標準化的應用能力而非數據,但從目前尚存的蛛絲馬跡中可依稀看到,大規模數據流通的未來新星也將會是數據API范式。在過去我們清晰看到,越來越完善的IT架構、尤其是云計算的普及讓企業的商業模式核心能力已經充分IT化甚至云化,通過API接口實現了商業模式核心能力的外延大大擴充。如地圖服務提供商通過API接口實現了GIS能力的開放,使得合作伙伴能便利接入GIS能力并基于此開發出價值更豐富的應用,并共同分享價值,而這種邏輯同樣適用于數據能力的外延擴充。如果說PaaS平臺實現了流計算、并行機器學習等重型大數據武器的輕量化的話,數據API將實現企業數據能力的精準推送與變現,這是解決大數據應用模式“最后一公里”的關鍵手段。

數據API經濟的潛在風險

我們看到數據API在構筑未來大規模數據跨業態流通方面的巨大潛力,以及數據API作為一種數據交換規范方面本身難以替代的優點,但通過深入觀察我們可以發現,當今的數據API規范遠非完美,在今后推動數據流通中將會浮現各種問題和潛在風險,其中最典型的就是“洗數”活動的出現。

問題一:當前數據API規范缺乏數據鑒權能力,將導致“洗數”活動泛濫。我們知道,數據API的本質是數據能力的DaaS化,即將復雜龐大的泛化數據資產根據特定的業務場景進行預處理與挖掘,并通過API接口規范輸出為精確的數據應用推送。典型的案例如上文介紹的三元驗真API服務,是一種范化數據到具象化應用的轉移。因此我們發現,數據API應用本身也是一個數據降維的過程,在獲得滿意結果的同時,我們實際上看不到原始數據的任何特征,包括原始數據的實際權屬,屬于數據“可見不可得”的應用方式。如此一來,各類地下黑市數據就有機會堂而皇之地被轉化、包裝為數據API服務,被洗白后出現在各類數據交易平臺之中,而實際上需求方沒有太多辦法分別其中的貓膩。

假設有人通過數據地下黑市獲取了大量個人房地產交易數據(而事實上現在數據黑市的主要數據買家除了詐騙者、黑客以外,就是各類大數據公司),這些灰色數據在被獲取以后,很容易整合、處理為金融機構尤其是互聯網金融迫切需要的個人征信類數據API,具體返回查詢對象名下房產的數量或者市值等級。通過這樣的降維處理及出售方式轉化(整批數據違法出售變為單個數據查詢),數據就被洗白一遍了,另外如果加入其它數據通過更為復雜的模型處理并轉變為更為高層次的結果輸出后,其數據的違法性幾乎會被洗白得無法追蹤。這個過程就猶如金融中的洗錢活動一樣,可以預見隨著數據API經濟的興起,“洗數”活動將會逐漸出現,畢竟黑市數據價格與數據API售價差異的暴利擺在那里。

正如開篇寓言故事中水龍頭商人以次充好的行為,“洗數”活動的實質,相當于把看不見的地溝油和病豬肉做成香噴噴的香腸,表面上刺激了數據交易與流通,提高了供給側數據產品的多樣性,但實質上是讓大量不及格的數據流入了市場服務中,長期上損害了市場本身,最終導致逆向選擇的出現毀掉了數據API交易經濟。

問題二:缺乏對個人隱私數據查詢的保障。如果說上文介紹過的個人用戶三元驗真API服務已經涉及到個人用戶隱私邊界的話,那目前個別如身份證頭像校驗、學歷查詢、電商消費者畫像查詢等數據API則已經大張旗鼓地進入了個人隱私保護的禁區。我們知道,第三方機構查詢個人用戶央行征信報告前,是需要得到個人用戶明確書面授權的,其中的法理非常簡單,因為這些數據可能會為當事人帶來不利的影響。在未來,我認為數據API將需要建立類似的個人用戶授權體系,要求查詢方在得到用戶明確授權后才能獲取相應的隱私敏感性查詢結果,否則與倒賣個人數據的販子沒有本質區別,充其量只是通過API接口這種相對隱蔽的方式去做而已。但目前來看,業界對于隱私類數據API的查詢授權是嚴重缺失的。

問題三:不具備豐富的計費模塊,無法實現差異化數據定價。當前數據API提供商在計費模式上,基本采取小流量查詢按次計費,部分包量查詢(如xx元xx次),大流量查詢(大客戶)線下議價的方式進行。但事實上數據交易與流通的定價與計費是非常復雜的一個課題,原因在于數據具有錯綜復雜的價值相對性,對于主體A一文不值的數據,放到主體B那里則猶如金子般珍貴。將來隨著數據API經濟進入爆發式增長時期,可以預見,靈活計費、對數據進行差異性定價將會成為數據API運營的一大重要抓手,數據API運營平臺甚至需要具備類似電信運營商計費系統的復雜計費能力,才能有效匹配數據API經濟的發展。

由于集眾多優點于一身,數據API將會成為數據大規模交易與流通的重要方式,甚至是將來數據流通的事實標準。但從目前數據API實踐來看仍存在眾多問題,究其原因,主要在于目前數據API接口這件事情本身被大家定位為數據交換的技術手段,并未更深入去耦合各種數據交易典型場景,如隱私保護、鑒權與計費,但這些場景元素在數據交易中是必不可少的甚至是前提條件,它們的缺席將催生大量如“洗數”等亂象,就如開篇寓言故事中無序發展的自來水市場。而這時候需要有一套權威的數據API交換標準,正如故事中國王的強制性自來水標準,讓數據API經濟在深思熟慮的頂層設計下運行。而這套權威的數據API交換標準,本文先暫時稱為“增強型數據交換導向API”,即EDO-API(Enhance Data-exchange Oriented Application Program interface)。

增強型數據交換導向API與大規模數據流通

增強型數據交換導向API,即EDO-API是本文提出的創新概念,其目的是以技術為核心驅動力,旨在完善現在基于數據API接口的數據交易與流通中的種種不足,并整合為一套具備權威性的數據API流通標準性接口產品。具體設計上應高度耦合關鍵性數據交易元素,至少解決以下問題:

智能數據鑒權能力–EDO-API作為數據交換標準,提供智能化數據鑒權能力,杜絕將灰色數據加工為數據API服務的“洗數”行為。誠然,數據鑒權是個復雜性問題,尤其是在個人數據盜賣已成完整產業鏈的當今,防范數據API被作為灰色數據洗白變現的窗口實際上是個很有難度的事情。科學鑒權需要涉及到完備的數據源審核流程與認證體系,EDO-API需要具備這樣的模塊,從而保障認證的數據流通于陽光之下,而其中的市場價值也是顯而易見的。

個人隱私數據查詢授權功能–數據鑒權是為了杜絕灰色數據的洗白變現,而在數據API經濟中,正規的個人類查詢數據在獲得授權下是應該允許流通交易的,正如央行個人征信數據在獲得當事人授權后允許第三方查詢。EDO-API里面,可內嵌一套個人用戶授權IT解決方案,如標準化個人數據查詢授權電子協議接口,互聯網金融機構可將這份電子協議嵌入自身的用戶協議中,用戶同意后將生成一個授權token,允許這家機構通過EDO-API查詢電子協議中用戶授權范圍內的個人數據。

綜合性計費模塊–上文已經論述過為什么說豐富的計費模式對于數據的交易與流通將具備極其重要的意義,另外有效運營是數據API經濟中不可或缺的核心抓手,而運營離不開的是大而豐富的盈利模式,而盈利模式在IT端則反映為計費問題。如何通過強大的計費系統去支撐數據API經濟的有效運營,如支持各種API調用次數的階梯包月套餐、查詢費用促銷(打折、限免)、閑時流量(鼓勵用戶在API提供方服務器并發量低時查詢),甚至創新性的按實際數據效果付費等收費方式,是EDO-API需要提供的一個核心能力。

總體而言,EDO-API需要搭建一套規范性的數據流通環境標準,同時提供計費、數據隱私保護及數據安全等一系列中間件,可以迅速幫助企業主體建立完善的數據開放與流通的環境,大幅度降低數據提供方的部署成本以及需求方的交易成本,從而形成完善的數據交易與流通生態系統,支撐數據API經濟的未來。正如故事中國王的強制性自來水標準,數據的大規模流通,特別是數據API經濟也需要一套標準,這就是EDO-API的定位。目前市場上缺的從來不是數據,而是讓數據交易在陽光下流通的標準方法。

最后,簡單談談數據交易標準以及我們亞信的Datahub

目前已經有一些機構在推動數據交易標準的建立,但我認為數據交易標準不應該僅僅是一紙文檔或者行政命令,而是一套能真正解決市場中數據交易問題的技術性標準。正如我們回顧互聯網流量交易的發展,可以發現真正的推動力量并不是各種亂七八糟的廣告聯盟公約、廣告投放標準,而是扎扎實實的流量交易技術,比如計算點擊率的大規模并行邏輯回歸、反作弊引擎。正是這些接地氣、能解決流量交易實際業務問題的技術所構成的整體交易架構,才是真正的交易標準。–我們看到百度、谷歌等都用類似的技術架構在運營廣告,這是技術使然。

個人感覺相比互聯網流量交易,數據交易的技術驅動特性將更為深刻,誰能設計出一套能支撐數據交易中隱私保護、鑒權、計費與定價等業務問題的技術標準,則會成為未來大數據領域的一匹耀眼獨角獸。而目前我們亞信的Datahub作為目前業界幾乎唯一瞄準做數據交易與流通標準平臺的產品,正走在一條光明的道路上,并應該瞄準這個終極目標前進,期待能融入更多實際解決數據交易核心業務問題的技術能力,正如上文構想的EDO-API的一些特性。

作者簡介:

胡嘉琪,亞信數據銀行行業線資深顧問,從事業務咨詢、數據化運營與數據挖掘近10年,近期主要參與大數據跨行業應用、數據服務與數據變現研究。

責任編輯:張燕妮 來源: 36大數據
相關推薦

2024-04-02 14:29:12

網絡安全數據泄露

2022-06-24 09:00:00

數據管理數據卷數據存儲

2023-11-22 09:27:15

數據遷移

2023-10-26 01:26:04

Vaex數據數據集

2020-06-10 10:00:53

Serverless數據處理函數

2024-08-21 15:14:21

2020-07-23 14:03:09

數據中心數據網絡

2022-09-06 23:59:29

數據安全人工智能隱私計算

2021-08-25 08:23:51

AI數據機器學習

2016-05-30 12:08:14

2022-12-30 14:14:51

數據中心服務器

2017-01-11 15:54:53

SDN網絡數據中心中國移動

2020-12-11 19:52:06

數據中心超大規模數據中心

2023-02-14 11:24:36

2021-03-24 11:13:12

數據中心云計算物聯網

2023-10-07 08:30:07

B+樹數據庫管理系統

2013-04-27 09:09:07

大數據全球技術峰會

2024-10-21 17:40:22

2024-09-13 13:36:29

2019-06-10 16:17:37

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 少妇av片| 一区二区三区视频在线观看 | 日韩精品在线免费观看视频 | 色偷偷人人澡人人爽人人模 | 激情五月综合 | 伊人在线 | 黄色在线免费观看 | 91一区二区 | a级毛片免费高清视频 | 精品一区二区三区在线观看 | 高清不卡毛片 | 激情毛片 | 国产美女久久 | 国产一区中文字幕 | 激情久久网 | 一区二区电影 | 久久久新视频 | 999久久久久久久久6666 | 91精品中文字幕一区二区三区 | 黄网站色大毛片 | 凹凸日日摸日日碰夜夜 | av影片在线 | 国产欧美日韩一区 | 黄色一级毛片免费看 | 午夜爱爱网| 久久亚洲精品国产精品紫薇 | 成人免费大片黄在线播放 | 欧美日本一区二区 | 欧美日韩精品久久久免费观看 | 一级做a爰片久久毛片 | 国产精品成人一区二区三区 | 国产精品亚洲一区二区三区在线观看 | 正在播放亚洲 | 亚洲人成网亚洲欧洲无码 | 午夜av在线 | 国产精品呻吟久久av凹凸 | 亚洲女人天堂成人av在线 | 国产午夜精品久久久久 | 中文字幕国产第一页 | 亚洲欧美综合精品久久成人 | 中文字幕一区二区三区乱码在线 |