挨踢部落坐診第五期:數據采集與前端運用

作者：51CTO開發者交流群 2017-05-09 14:15:27

挨踢部落是為核心開發者提供深度技術交流，解決開發需求，資源共享的服務社群。基于此社群，我們邀請了業界技術大咖對開發需求進行一對一突破，解除開發過程中的絆腳石。以最專業、最高效的答復為開發者解決開發難題。

【51CTO.com原創稿件】活動說明：挨踢部落是為核心開發者提供深度技術交流，解決開發需求，資源共享的服務社群。基于此社群，我們邀請了業界技術大咖對開發需求進行一對一突破，解除開發過程中的絆腳石。以最專業、***效的答復為開發者解決開發難題。

話題關鍵詞：大數據來源/數據安全/云計算/Linux

部落陣容：51CTO社群智囊團

面向對象：Java工程師、大數據開發工程師、IT運維、數據分析師

參與方式：加入51CTO開發者QQ交流群（群號370892523（已滿）、請加312724475），有任何技術問題，在群里提問，或發給群主小官。

活動詳情：

Android-小包-重慶：我有個疑問，大多盈利性質的商業公司和企業都不會輕易泄露自己的數據、建模方法和分析過程，那么大數據的來源是什么？

云計算-恩威-成都：數據的來源：1、自有用戶的數據庫；2、采集網絡（爬蟲）；3、買數據接口或者購買數據；4、聚合數據API市場。四種常見的大數據的數據來源。

Android-小包-重慶：買數據接口或者購買數據，這個可能又要涉及到另一個問題，數據安全性。好像存在一個因果關系：要實現大數據的核心價值，***步是通過“眾包”的形式收集海量數據，第二步是通過大數據的技術途徑進行“全量數據挖掘”，***利用分析結果進行“資源優化配置”；但收集海量數據就得先解決數據安全性問題，才能進行“全量數據挖掘”，才有后續的發展。不知道理解得對不對？

云計算-恩威-成都：講的好，每一步的語言都是精煉，提到點上。目前大數據還處于開始階段，很多問題都還沒有解決，安全性是任何行業的通病。

Java+李賽+鄭州：輸入法的數據收集么？像輸入法，很多人的打字數據能不能算上大數據？

云計算-恩威-成都：大數據要經過處理分析才算的上是大數據，否則僅僅是大容量的二進制數據。例如這個，都是在輸入基礎之上經過提煉分析的結果。

輸入法

Java+李賽+鄭州：大數據是Java的進階么？

1>App-zee-重慶：算是Java一個方向吧。

2>云計算-恩威-成都：如果采用的是 Hadoop平臺，那邊無疑是Java語言又一場景的使用。

Java+李賽+鄭州：在做大數據么？云計算是做哪些？有什么關系？

1>云計算-恩威-成都：云計算和大數據，應該是不分家的，因為大數據的分析離不開云計算的基礎平臺。

2>后端接口開發-劉聲杰-成都：云計算和大數據是分不開，沒有云計算，大數據永遠只是數據，對我們沒有任何價值。

Java-太陽-深圳:話說有人知道單元測試怎么寫么？這樣是不是證明裝好了？

Java-笨鳥先飛-北京：參考這里>>

網絡編程-付振華-武漢：請教下各位，我現在有個需求，在一個電腦上對上百個網站首頁進行輪詢打開，如果打不開就彈出提示，或者發郵件。有現成的軟件實現這個功能么？

云計算-恩威-成都：URL的監控HTTP狀態檢測（200 ok）。

Java網編－海本無因－長沙：我是問HTML5在大數據里不是代替了Java？

1>PHP-Coeus-安徽：這兩個在大數據上扯不上。H5是負責展示、動效，數據方面的處理還是看后臺的。數據是五花肉，處理語言是材料，HTML5就是紅燒肉出鍋時候的蔥花吧。HTML5和瀏覽器就像Java和JVM，分工不同罷了。隨著HTML5的規范完善，本地存儲、WebSocket、內存管理都已經做的很不錯了。

2>架構師-崔一凡-北京：HTML5可以做報表，有用的，各種數據展示、報表，處理前，處理中，處理后。

3>網絡編程-付振華-武漢：HTML不就是個表示語言嗎，用來編網頁游戲的也挺厲害的。但沒有瀏覽器時它無法交互吧，基于瀏覽器就各種調試。Java程序只要有對應操作系統的JVM就能干活，內存回收機制也完善些吧。

App-zee-重慶：有用過Vue那個Mint UI的嗎？mt-loadmore的加載更多嵌入到iframe在蘋果的瀏覽器上面上拉有問題，有遇見過的沒？

半吊子全棧工匠-曹洪偉-北京：很多IM 的提供商都提供了客服方案的，可以集成到自己的系統中來。

新人-菜鳥-蘇州：問一下大佬，我如果要研究Linux，想通過烏班圖入手，我是要看linux的書還是Ubuntu的書？半路出家搞IT要從哪里入手呢？linux和Unix不一樣吧？

1>學習-JSON-重慶：看這個《UNIX環境高級編程》。

2>運維-華子-武漢：差不多，Linux門檻低，適合PC機折騰。

Java-氣-北京：有沒有人對Spring Data JPA有熟悉的嗎？是一個趨勢，最近在做。復雜查詢還行，updata碰到坎上了，感覺SpringBoot慢慢要趕超SpringMvc。而SpringDataJpa技術是標配之一。希望大家可以看看，有問題一起交流。

Java-哈韓浪子-成都：SpringData做持久層的，個人感覺不好用啊，沒有Hibernate好用。因為用了很久的Hibernate，所以不習慣其他的了。

Java-Derrick-北京：有誰在用Linux系統？個人用了一個Ubuntu17.0，主要是算法和設計模式。

1>鏟屎官-項目經理-北京：個人用，烏班圖不錯，企業級，紅帽，等都挺好。

2>Java-氣-北京：公司用centos比較好，和紅帽一樣。