移動(dòng)互聯(lián)網(wǎng)時(shí)代，“大數(shù)據(jù)”是關(guān)鍵詞之一。作為推送技術(shù)服務(wù)行業(yè)的領(lǐng)跑者，個(gè)推不斷進(jìn)行技術(shù)革新***推送革命。在2015年4月底，個(gè)推正式對外發(fā)布其劃時(shí)代意義的推送3.0產(chǎn)品-“應(yīng)景推送”，深挖用戶使用場景，結(jié)合地理位置信息精確***不同用戶的各類需求。在不斷服務(wù)擁有億級(jí)用戶的大客戶的過程中個(gè)推通過自身平臺(tái)積累的海量數(shù)據(jù)發(fā)展了大數(shù)據(jù)技術(shù)，專注于移動(dòng)推送技術(shù)的個(gè)推，同時(shí)具有利用大數(shù)據(jù)實(shí)時(shí)監(jiān)控和分析海量用戶位置信息的能力。

個(gè)推產(chǎn)品目前經(jīng)歷了三個(gè)階段的進(jìn)階：

個(gè)推1.0 實(shí)時(shí)推送 — 技術(shù)指標(biāo)領(lǐng)先于競品，***程度覆蓋用戶

個(gè)推2.0 智能推送 — 合適的內(nèi)容推給合適人，有效降低用戶打擾

個(gè)推3.0 應(yīng)景推送 — 合適地點(diǎn)合適時(shí)間觸發(fā)，精準(zhǔn)捕捉用戶場景

個(gè)推3.0產(chǎn) 品最重要的技術(shù)——電子圍欄技術(shù)：電子圍欄是精確捕捉用戶場景，實(shí)時(shí)給用戶推送有價(jià)值消息的手機(jī)推送解決方案。客戶根據(jù)業(yè)務(wù)需求，在地圖上設(shè)置電子圍欄區(qū) 域和目標(biāo)用戶屬性，通過冷數(shù)據(jù)畫像（結(jié)合大數(shù)據(jù)分析，篩選目標(biāo)用戶）以及熱數(shù)據(jù)投放（當(dāng)目標(biāo)用戶進(jìn)入電子圍欄實(shí)時(shí)觸發(fā)），做到在合適的時(shí)間、合適的地點(diǎn)、 合適的場景、把合適的內(nèi)容、推送給合適的人。

構(gòu)建基于LBS的大數(shù)據(jù)應(yīng)用，一般的實(shí)現(xiàn)流程為：通過信息收集后進(jìn)行基礎(chǔ)數(shù)據(jù)的整理，數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)，服務(wù)搭建以及數(shù)據(jù)可視化等。

 

 

數(shù)據(jù)挖掘的基本流程

基礎(chǔ)數(shù)據(jù)的處理主要包括：數(shù)據(jù)集成和一些部分?jǐn)?shù)據(jù)處理。

數(shù)據(jù)集成，數(shù)據(jù)挖掘或統(tǒng)計(jì)分析可能用到來自不同數(shù)據(jù)源的數(shù)據(jù)，我們需要將這些數(shù)據(jù)集成在一起。但如果只有一個(gè)數(shù)據(jù)源，這一步可以省略。

基礎(chǔ)數(shù)據(jù)處理，有些數(shù)據(jù)是缺失的（數(shù)據(jù)屬性的值是空值），有些數(shù)據(jù)是含噪聲的（屬性的值 是錯(cuò)誤的，或有孤立點(diǎn)數(shù)據(jù)），有時(shí)同樣的信息采用了多種不同的表示方式（在編碼或命名上存在不一致），基于種種問題要對數(shù)據(jù)進(jìn)行基礎(chǔ)的處理。通過基礎(chǔ)數(shù)據(jù) 處理，可以確保村人數(shù)據(jù)倉庫中的信息是完整、正確和格式一致的。

數(shù)據(jù)轉(zhuǎn)換主要是利用現(xiàn)有的字段進(jìn)行運(yùn)算來得到新的字段，通常說到數(shù)據(jù)變換主要包括四種：數(shù)據(jù)離散化（采用分箱等方式）、產(chǎn)生衍生變量、使變量分布更接近正態(tài)分布、數(shù)據(jù)標(biāo)準(zhǔn)化。如果對連續(xù)變量進(jìn)行離散化，可以避免引入任何分布假設(shè)。這樣就不需要符合正態(tài)分布了。

數(shù)據(jù)挖掘時(shí)只根據(jù)數(shù)據(jù)庫中的數(shù)據(jù)，用合適的數(shù)據(jù)挖掘算法進(jìn)行分析，得出有用的信息。其中，模型算法質(zhì)量的評(píng)價(jià)是很重要的一步。且數(shù)據(jù)挖掘是一個(gè)循環(huán)往復(fù)的過程。

基于LBS的大數(shù)據(jù)應(yīng)用需要解決很多問題：基礎(chǔ)數(shù)據(jù)問題比如海量數(shù)據(jù)流（>20W 條/s）、數(shù)據(jù)處理性能復(fù)雜計(jì)算（定位和統(tǒng)計(jì)）、準(zhǔn)確率、秒級(jí)實(shí)時(shí)性要求、以及數(shù)據(jù)的實(shí)時(shí)性等。對此，個(gè)推的解決方案是：分布式流式計(jì)算框架、Spark Streaming、發(fā)布/訂閱模型、Apache Kafka、Events等。

***，基于大數(shù)據(jù)的LBS應(yīng)用，可以使用分布式流式計(jì)算框架，構(gòu)建數(shù)據(jù)閉環(huán)，從而實(shí)現(xiàn)持續(xù)優(yōu)化基礎(chǔ)數(shù)據(jù)。

 

2015年，個(gè)推曾作為杭州白馬湖動(dòng)漫節(jié)的安全保鏢保障動(dòng)漫節(jié)圓滿落幕。本次動(dòng)漫節(jié)依托 個(gè)推的大數(shù)據(jù)平臺(tái)和移動(dòng)互聯(lián)網(wǎng)技術(shù)，通過海量的樣本數(shù)據(jù)采集和分析，以實(shí)時(shí)人流熱力分析圖為主要服務(wù)接口，監(jiān)控動(dòng)漫節(jié)期間杭州濱江區(qū)白馬湖動(dòng)漫廣場附近的 人流去向和擁擠程度。這一項(xiàng)部署建立了白馬湖區(qū)塊的實(shí)時(shí)監(jiān)控和人流預(yù)警系統(tǒng)，在人流量超過一定數(shù)量的時(shí)候?qū)崟r(shí)發(fā)布預(yù)警，從而及時(shí)提醒相關(guān)人員注意對應(yīng)區(qū)域 的高峰人流量疏散和引導(dǎo)，從源頭上防范踩踏事件及避免安全隱患的發(fā)生。

個(gè)推還把電子圍欄技術(shù)和大數(shù)據(jù)的運(yùn)用深度拓展到與國家地震網(wǎng)和旅游局等的合作，如通過將 大數(shù)據(jù)分析和推送相結(jié)合，在發(fā)生地震時(shí)實(shí)時(shí)警報(bào)，并通過大數(shù)據(jù)對人群熱力圖的分析，為震后救援工作定制合理方案及提供有效幫助。又比如個(gè)推與旅游局合作， 將旅游分析熱點(diǎn)圖與實(shí)時(shí)推送相結(jié)合，用于疏散和引導(dǎo)景區(qū)高峰人流量，避免危險(xiǎn)事件發(fā)生。

個(gè)推作為為開發(fā)者提供推送技術(shù)服務(wù)的“送水工”，在拓展新技術(shù)的同時(shí)也正在為服務(wù)公益項(xiàng)目做出越來越多的貢獻(xiàn)。