IEEE Spectrum的第三次“***編程語言”中，C語言居首，有人說是大數據贏了。本文將探討c與大數據的開發實踐。大數據是使用工具和技術處理大量和復雜數據集合的術語。能夠處理大量數據的技術稱為MapReduce。

大數據何時使用MapReduce

大概有如下場景會應用到MapReduce：

Apache Hadoop

開發MapReduce解決方案，推薦使用Hadoop，它已經是事實上的標準，同時也是開源免費的軟件。

還有其他多個優點：

• 成本效益：不需要任何專門和奇特的硬件，因為軟件在正常的硬件都運行正常
• 容錯：如果有節點出現問題，其它節點可以接收它的工作，整個集群繼續處理。

本文中我們將使用PHP做為主開發語言。

Apache Hadoop的安裝配置超出了本文范圍。您可以根據自己的平臺，在線輕松找到很多文章。為了保持簡單，我們只討論大數據相關的事。

映射器的任務是將輸入轉換成一系列的鍵值對。比如在字計數器的情況下，輸入是一系列的行。我們按單詞將它們分開，把它們變成鍵值對(如key:word,value:1),看起來像這樣：

the 1  
water 1  
on 1  
on 1  
water 1  
on 1  
... 1 

reducer

mapping和reducing的整個過程看起來有點像這樣，請看下列之圖表：

使用PHP做單詞計數器

執行以下命令下載這本書：

wget http://www.gutenberg.org/cache ... 1.txt 

我們的PHP代碼從mapper開始

#!/usr/bin/php 
<?php 
    // iterate through lines 
    while($line = fgets(STDIN)){ 
        // remove leading and trailing 
        $line = ltrim($line); 
        $line = rtrim($line); 
 
        // split the line in words 
        $words = preg_split('/\s/', $line, -1, PREG_SPLIT_NO_EMPTY); 
        // iterate through words 
        foreach( $words as $key ) { 
            // print word (key) to standard output 
            // the output will be used in the 
            // reduce (reducer.php) step 
            // word (key) tab-delimited wordcount (1) 
            printf("%s\t%d\n", $key, 1); 
        } 
    } 
?> 

你可以通過使用某些命令和管道的組合來在本地輕松測試腳本。

head -n1000 pg2701.txt | ./mapper.php | sort | ./reducer.php 

輸出將存儲在文件夾hello / result中，可以通過執行以下命令查看

hdfs dfs -cat hello/result/part-00000 

下一個例子是一個更實際的例子，雖然數據集相對較小，但是相同的邏輯可以很容易地應用于具有數百個數據點的集合上。 我們將嘗試計算過去五十年的黃金年平均價格。

在HDFS(Hadoop分布式文件系統)中創建一個工作目錄

hadoop dfs -mkdir goldprice 

我的reducer看起來像這樣

#!/usr/bin/php 
<?php 
    // iterate through lines 
    while($line = fgets(STDIN)){ 
        // remove leading and trailing 
        $line = ltrim($line); 
        $line = rtrim($line); 
 
        // regular expression to capture year and gold value 
        preg_match("/^(.*?)\-(?:.*),(.*)$/", $line, $matches); 
 
        if ($matches) { 
            // key: year, value: gold price 
            printf("%s\t%.3f\n", $matches[1], $matches[2]); 
        } 
    } 
?> 

像單詞統計樣例一樣，我們也可以在本地測試

head -n1000 data.csv | ./mapper.php | sort | ./reducer.php 

查看平均值

hdfs dfs -cat goldprice/result/part-00000 

我們經常會將結果轉換成圖表。 對于這個演示，我將使用gnuplot，你可以使用其它任何有趣的東西。

創建一個gnu plot配置文件(gold.plot)并復制以下內容

# Gnuplot script file for generating gold prices 
set terminal png 
set output "chart.jpg" 
set style data lines 
set nokey 
set grid 
set title "Gold prices" 
set xlabel "Year" 
set ylabel "Price" 
plot "gold.dat" 

這會生成一個名為chart.jpg的文件。看起來像這樣：