什么是大數據采集技術：

對數據進行ETL操作，通過對數據進行提取、轉換、加載，最終挖掘數據的潛在價值。然后提供給用戶解決方案或者決策參考。

大數據采集系統，主要分為三類：

1、系統日志采集系統

對日志數據信息進行日志采集、收集，然后進行數據分析，挖掘公司業務平臺日志數據中的潛在價值。簡言之，收集日志數據提供離線和在線的實時分析使用。目前常用的開源日志收集系統為Flume。

2、網絡數據采集系統

通過網絡爬蟲和一些網站平臺提供的公共API(如Twitter和新浪微博API)等方式從網站上獲取數據。可以將非結構化數據和半結構化數據的網頁數據從網頁中提取出來，并將其提取、清洗、轉換成結構化的數據，將其存儲為統一的本地文件數據。

目前常用的網頁爬蟲系統有Apache Nutch、Crawler4j、Scrapy等框架。

3、數據庫采集系統

通過數據庫采集系統直接與企業業務后臺服務器結合，將企業業務后臺每時每刻都在產生大量的業務記錄寫入到數據庫中，最后由特定的處理分許系統進行系統分析。

目前常用關系型數據庫MySQL和Oracle等來存儲數據，Redis和MongoDB這樣的NoSQL數據庫也常用于數據的采集。

好用的大數據采集平臺：

1.數據超市

一款基于云平臺的大數據計算、分析系統。擁有豐富高質量的數據資源，通過自身渠道資源獲取了百余款擁有版權的大數據資源，所有數據都經過審核，保證數據的高可用性。

2. Rapid Miner

數據科學軟件平臺，為數據準備、機器學習、深度學習、文本挖掘和預測分析提供一種集成環境。

3. Oracle Data Mining

它是Oracle高級分析數據庫的代表。市場領先的公司用它最大限度地發掘數據的潛力，做出準確的預測。

4. IBM SPSS Modeler

適合大規模項目。在這個建模器中，文本分析及其最先進的可視化界面極具價值。它有助于生成數據挖掘算法，基本上不需要編程。

5. KNIME

開源數據分析平臺。你可以迅速在其中部署、擴展和熟悉數據。

6. Python

一種免費的開源語言。

大數據平臺：

是指以處理海量數據存儲、計算及不間斷流數據實時計算等場景為主的一套基礎設施。既可以采用開源平臺，也可以采用華為、星環等商業級解決方案，既可以部署在私有云上，也可以部署在公有云上。

任何完整的大數據平臺，一般包括以下的幾個過程：

• 數據采集–>數據存儲–>數據處理–>數據展現(可視化，報表和監控)

其中，數據采集是所有數據系統必不可少的，隨著大數據越來越被重視，數據采集的挑戰也變的尤為突出。