云計(jì)算和數(shù)據(jù)倉庫是合理的一對(duì)。云存儲(chǔ)可以按需擴(kuò)展，云可以將大量服務(wù)器貢獻(xiàn)于某一具體任務(wù)。數(shù)據(jù)倉庫通用功能是本地?cái)?shù)據(jù)分析工具，受到計(jì)算和存儲(chǔ)資源的限制，同時(shí)也受到設(shè)計(jì)者考慮新數(shù)據(jù)源集成的能力的限制。如果我們可以克服一些數(shù)據(jù)遷移的挑戰(zhàn)，將一個(gè)數(shù)據(jù)倉庫以及其數(shù)據(jù)分析工具從數(shù)據(jù)中心中的專用服務(wù)器轉(zhuǎn)移到基于云的文件系統(tǒng)和數(shù)據(jù)庫就可以解決這個(gè)問題。

　　云端數(shù)據(jù)管理通常牽扯到在分布式文件系統(tǒng)中加載和維護(hù)文件，像Hadoop分布式文件系統(tǒng)(HDFS)，隨后用類似MapReduce這樣的工具處理數(shù)據(jù)。對(duì)于數(shù)據(jù)倉庫和其他的分析人物，像Hive這樣的數(shù)據(jù)庫工具在分布式文件系統(tǒng)之上提供了類SQL的功能。

　　盡管傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)和云端非關(guān)系型數(shù)據(jù)庫之間可以并行描述，但是在兩個(gè)片段之間轉(zhuǎn)移數(shù)據(jù)時(shí)，不同的運(yùn)行方式會(huì)導(dǎo)致問題。抽取、轉(zhuǎn)換和加載流程甚至?xí)斐筛嗵魬?zhàn)。

　　數(shù)據(jù)遷移工具輔助向云端遷移

　　從數(shù)據(jù)庫抽取數(shù)據(jù)很容易，從數(shù)據(jù)庫中有效挖掘大容量數(shù)據(jù)確是一項(xiàng)挑戰(zhàn)。如果由于數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)倉庫面臨性能或者存儲(chǔ)問題，可能就是時(shí)候考慮使用運(yùn)資源了。下面提供了一些工具來協(xié)助從關(guān)系型數(shù)據(jù)庫加載數(shù)據(jù)到云文件系統(tǒng)和數(shù)據(jù)庫。

　　專業(yè)工具，像Sqoop(SQL-to-Hadoop)生成代碼從關(guān)系型數(shù)據(jù)庫抽取數(shù)據(jù)，并將其拷貝到HDFS或者Hive。Sqoop使用JDBC驅(qū)動(dòng)，同多種類型的關(guān)系型數(shù)據(jù)庫工作，但是通過JDBC推出大量數(shù)據(jù)導(dǎo)致了性能成本。

　　為了遷移到云端，從關(guān)系型數(shù)據(jù)庫抽取數(shù)據(jù)時(shí)，你可能需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換。如果你所工作的所有數(shù)據(jù)來自于單一數(shù)據(jù)庫，就可以在源數(shù)據(jù)庫中進(jìn)行轉(zhuǎn)換。如果從兩個(gè)分離的系統(tǒng)合并數(shù)據(jù)，在抽取之后再轉(zhuǎn)移數(shù)據(jù)源更有效。然而，你應(yīng)該在加載數(shù)據(jù)到最終數(shù)據(jù)存儲(chǔ)庫之前做這些。Cascading數(shù)據(jù)處理API可以協(xié)助這項(xiàng)任務(wù)的進(jìn)行。

　　Cascading提供了運(yùn)行在Hadoop之上的功能，像工作流處理、計(jì)劃和調(diào)度。就比如說，它同管道過濾器工作;數(shù)據(jù)應(yīng)用過濾器通過管道從一個(gè)源流到目的源。其他功能像grouping可以應(yīng)用于數(shù)據(jù)流。Cascading用Java實(shí)現(xiàn)，在MapReduce工作中調(diào)用轉(zhuǎn)換API。

　　如果你正在同MySQL共事，Sqoop介意使用MySQL轉(zhuǎn)儲(chǔ)功能繞離JDBC并更加有效地抽取數(shù)據(jù)。Sqoop也可以生成Java類，這個(gè)類可以用于操縱加載數(shù)據(jù)并將其直接導(dǎo)入Hive。HIHO (Hadoop Input and Output)從關(guān)系型表抽取數(shù)據(jù)并提供一些基本的轉(zhuǎn)換服務(wù)，像去重以及合并輸入流。

　　當(dāng)生成文件在將其加載到HDFS文件系統(tǒng)或者Hive數(shù)據(jù)倉庫之前，要求最小化轉(zhuǎn)換，你就能直接加載文件了。在確定目標(biāo)表和分割規(guī)格后，Hive有一個(gè)命令來加載數(shù)據(jù)。Pig是數(shù)據(jù)分析程序的一種高水平語言，尤其是和Java中的MapReduce編碼對(duì)比的時(shí)候。它提供了一種基本的統(tǒng)計(jì)函數(shù)，你可以在關(guān)系型數(shù)據(jù)庫中找到(像min、max、count)，在數(shù)學(xué)和字符串處理功能中也能找到。Pig支持架構(gòu)化和非結(jié)構(gòu)化文本文件的壓縮。

　　云計(jì)算資源補(bǔ)充了數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)。然而，為將數(shù)據(jù)倉庫轉(zhuǎn)移到云端的利益***化，適當(dāng)結(jié)構(gòu)化數(shù)據(jù)并使用正確的數(shù)據(jù)分析工具很重要。