漫談編程語(yǔ)言的數(shù)據(jù)親和力
目前，程序設(shè)計(jì)語(yǔ)言似乎進(jìn)入了一個(gè)蓬勃發(fā)展的時(shí)期，JavaScript、Perl、Python、Ruby、Groovy等一批較新的語(yǔ)言正越來(lái)越多地被熟悉和使用，而C++、C#、Java等主流語(yǔ)言也在不斷地融入函數(shù)式和動(dòng)態(tài)性特征。程序員的百寶箱中可供選擇的寶貝是越來(lái)多了，而社區(qū)中關(guān)于語(yǔ)言間的比較和爭(zhēng)論也更為熱烈，我們常常見到關(guān)于“面向過(guò)程和面向?qū)ο蟮谋容^”、“動(dòng)態(tài)語(yǔ)言和靜態(tài)語(yǔ)言的比較”、“命令式和函數(shù)式范式的比較”等比較。我注意到這類討論的關(guān)注點(diǎn)多集中于設(shè)計(jì)相關(guān)話題，如“動(dòng)態(tài)語(yǔ)言的Duck typing多態(tài)和靜態(tài)語(yǔ)言的繼承多態(tài)的比較”，“Prototype based和Class based的比較”等。但我認(rèn)為還有一個(gè)十分重要的方面值得關(guān)注，這就是數(shù)據(jù)處理。
數(shù)據(jù)處理之所以重要是因?yàn)椴徽撌潜镜匦畔⒋鎯?chǔ)還是系統(tǒng)間信息交換都需要建立在一定的數(shù)據(jù)格式基礎(chǔ)上。另外，不管語(yǔ)言屬于那種范式，設(shè)計(jì)上采用什么模式，在微觀層次上程序很大一部分工作都是在做數(shù)據(jù)處理。所以，從數(shù)據(jù)處理角度比較和理解語(yǔ)言間的差異有重要的現(xiàn)實(shí)意義。雖然數(shù)據(jù)通常是平臺(tái)和語(yǔ)言無(wú)關(guān)的，但不同的語(yǔ)言在處理某種格式的數(shù)據(jù)時(shí)會(huì)表現(xiàn)出不同的難度，甚至某些數(shù)據(jù)格式只能采用特定的語(yǔ)言才能實(shí)現(xiàn)，這就是數(shù)據(jù)親和力的不同。
語(yǔ)言的數(shù)據(jù)親和力(Data Affinity)指的是語(yǔ)言與某種數(shù)據(jù)格式之間的相容程度，它主要取決于語(yǔ)言的數(shù)據(jù)模型，類型系統(tǒng)，以及庫(kù)的支持等。語(yǔ)言對(duì)某種數(shù)據(jù)格式親和力越強(qiáng)，則操作某類數(shù)據(jù)越容易。
二進(jìn)制字節(jié)塊格式
在偏底層的操作系統(tǒng)、嵌入式和通信系統(tǒng)中，二進(jìn)制的字節(jié)塊是最常見的一種數(shù)據(jù)格式。二進(jìn)制數(shù)據(jù)布局緊湊和接近機(jī)器的特點(diǎn)使得它常常作為系統(tǒng)間通信或系統(tǒng)文件的數(shù)據(jù)格式。但一般高級(jí)語(yǔ)言不方便直接和0101打交道，而是基于記錄、結(jié)構(gòu)體和類等結(jié)構(gòu)化表示操作數(shù)據(jù)，這就存在著在底層的二進(jìn)制字節(jié)塊和高層的結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)換問(wèn)題。
C語(yǔ)言作為最主要的系統(tǒng)語(yǔ)言具有很高的字節(jié)塊數(shù)據(jù)親和力。這不僅因?yàn)镃語(yǔ)言具有指針可以直接訪問(wèn)內(nèi)存以外，還因?yàn)镃的結(jié)構(gòu)體(struct)可以和字節(jié)塊建立起直接的映射關(guān)系。例如，在基于Socket連接的分布式系統(tǒng)中服務(wù)器端和客戶端通過(guò)二進(jìn)制的字節(jié)數(shù)據(jù)進(jìn)行通信，通信雙方只要事先定義共用的結(jié)構(gòu)體，發(fā)送方先創(chuàng)建相應(yīng)的結(jié)構(gòu)體變量并填充字段，然后把變量對(duì)應(yīng)的內(nèi)存塊copy到Socket，接收方從Socket讀取字節(jié)塊，然后把字節(jié)塊強(qiáng)制類型轉(zhuǎn)換為相應(yīng)的結(jié)構(gòu)體指針即可讀取個(gè)字段信息。整個(gè)過(guò)程中通信的雙方都沒(méi)有復(fù)雜的信息編碼和解碼的過(guò)程。示例代碼如下：
- struct t_data {
- int version;
- char type[10];
- float value;
- };
- //發(fā)送方
- struct t_data data;
- data.version = 1;
- strcpy(data.type, “degree”);
- data.value = 189.0;
- send(socket, (char*)&data, sizeof(data));
- //接收方
- struct t_data data;
- read(socket, (char*)&data, sizeof(data));
- printf(“%d, %s, %f”, data.version, data.type, data.value);
上面的方法在實(shí)際應(yīng)用中還需要注意內(nèi)存對(duì)齊問(wèn)題和大小端問(wèn)題。內(nèi)存對(duì)齊問(wèn)題可以通過(guò)編譯器預(yù)處理命令來(lái)進(jìn)行控制，保證內(nèi)存中struct結(jié)構(gòu)與傳輸?shù)淖止?jié)塊具有相同的對(duì)齊方式;大小端問(wèn)題需要通信的雙方采用同樣的大小端方式，否則就需要進(jìn)行轉(zhuǎn)換。
C++可以完全兼容C的結(jié)構(gòu)體，但C++的類(包括class和struct)中如果定義了虛函數(shù)，則會(huì)喪失結(jié)構(gòu)的字節(jié)塊數(shù)據(jù)親和力，這是C++編程時(shí)需要權(quán)衡的一個(gè)因素。而除了C/C++，其他語(yǔ)言中則難以見到字節(jié)塊數(shù)據(jù)親和力，其原因在于C/C++允許控制結(jié)構(gòu)體/對(duì)象的內(nèi)存布局，并允許對(duì)指針進(jìn)行非類型安全的強(qiáng)制類型轉(zhuǎn)換，這都是在Java，C#等語(yǔ)言中不允許的。所以，在Java、C#中進(jìn)行字節(jié)塊的編碼解碼就只能按照協(xié)議一個(gè)字段一個(gè)字段地按偏移量和長(zhǎng)度進(jìn)行解析。C/C++的指針以及結(jié)構(gòu)體和內(nèi)存的直接映射帶來(lái)了對(duì)字節(jié)塊數(shù)據(jù)的親和力，但同時(shí)也留下了內(nèi)存訪問(wèn)和類型安全的隱患;而Java、C#在擁有引用安全和類型安全的同時(shí)也失去了對(duì)字節(jié)塊數(shù)據(jù)的親和力。
文本格式
文本格式是另一種十分常見的數(shù)據(jù)格式。《Unix編程藝術(shù)》是這樣評(píng)價(jià)文本格式的："Text streams are a valuable universal format because they're easy for human beings to read, write, and edit without specialized tools ”。基于文本流的管道處理是一種備受贊譽(yù)的Unix風(fēng)格。Shell可以通過(guò)管道把各種功能單一的命令串聯(lián)起來(lái)，讓文本流在管道上流動(dòng)，因而Shell語(yǔ)言具有很好的文本數(shù)據(jù)親和力。許多文本數(shù)據(jù)處理任務(wù)Bash都可以一行搞定，這就是Hacker們酷愛(ài)的One Liner風(fēng)格。
下面我們來(lái)看兩個(gè)用Bash進(jìn)行文本處理的例子：
1. 統(tǒng)計(jì)當(dāng)前目錄下的gz文件數(shù)目：
ls –l *.gz | wc –l
2. 在Web服務(wù)器日志service.log中統(tǒng)計(jì)2011年6月26和27兩天中每天各頁(yè)面的PV
cat service.log | grep ^2011-06-2[6-7] | cut –d ‘ ‘ –f 1, 3 | sort | uniq –c
service.log:
2011-06-25 13:00:55 /music/c.htm Safari
…
2011-06-26 08:01:23 /main.htm IE
2011-06-26 08:03:01 /sports/b.htm Chrome
…
2011-06-27 11:41:06 /main.htm IE
2011-06-27 11:52:41 /news/a.htm Firefox
輸出:
210 2011-06-26 /main.htm
231 2011-06-26 /news/a.htm
155 2011-06-26 /sports/b.htm
288 2011-06-27 /main.htm
292 2011-06-27 /news/a.htm
161 2011-06-27 /sports/b.htm
上面的兩個(gè)簡(jiǎn)單文本數(shù)據(jù)處理任務(wù)如果是在C或C++下實(shí)現(xiàn)則要麻煩得多，代碼量至少是十幾行或者數(shù)十行，加上編譯調(diào)試，整個(gè)開發(fā)效率可能比Shell低一個(gè)數(shù)量級(jí)。除了Shell外，Perl也是以強(qiáng)大的文本數(shù)據(jù)處理而聞名的。我們來(lái)看一個(gè)Perl正則表達(dá)式的例子：
- while (<STDIN>) {
- if (/hello\s(\w+)/i) {
- print “say hello to $1“
- }
- else if (/goodbye\s(\w+)/i) {
- print “say goodbye to $1”
- }
- }
輸入：
HeLLo world
Goodbye bug
輸出：
say hello to world
say goodbye to bug
上面的例子中我們看到Perl直接進(jìn)行字符串匹配并進(jìn)行數(shù)據(jù)提取的強(qiáng)大威力。Perl基于正則表達(dá)式的字符串處理不僅比C/C++等系統(tǒng)語(yǔ)言更強(qiáng)大，甚至比Python這樣的動(dòng)態(tài)語(yǔ)言也更強(qiáng)大和更方便，這是因?yàn)檎齽t表達(dá)式是Perl語(yǔ)言的“一等公民”，這就使得Perl比其他以庫(kù)的方式支持正則表達(dá)式功能的語(yǔ)言具有更好的文本數(shù)據(jù)親和力。后來(lái)的Ruby也學(xué)習(xí)Perl直接在語(yǔ)言上支持正則表達(dá)式。
結(jié)構(gòu)化文本格式
XML是最近十幾年來(lái)流行起來(lái)的一種通用(半)結(jié)構(gòu)化的文本數(shù)據(jù)交換格式。XML除具有一般文本格式的優(yōu)點(diǎn)外，還具有能層次結(jié)構(gòu)表達(dá)力和可擴(kuò)展性的優(yōu)勢(shì)，所以它至誕生以來(lái)就被大量用于配置文件和各種Web Service中。現(xiàn)代程序設(shè)計(jì)基本都少不了和XML打交道，不過(guò)在C++、Java和C#幾種靜態(tài)類型語(yǔ)言中處理XML卻并不是一件十分輕松的事情。我們先來(lái)看一個(gè)Java解析和構(gòu)建下面這個(gè)XML的例子：
- <langs type="current">
- <language>Java</language>
- <language>Groovy</language>
- <language>JavaScript</language>
- </langs>
- //Java解析XML
- DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
- try {
- DocumentBuilder db = dbf.newDocumentBuilder();
- Document doc = db.parse("src/languages.xml");
- Element langs = doc.getDocumentElement();
- System.out.println("type = " + langs.getAttribute("type"));
- NodeList list = langs.getElementsByTagName("language");
- for(int i = 0 ; i < list.getLength();i++) {
- Element language = (Element) list.item(i);
- System.out.println(language.getTextContent());
- }
- }catch(Exception e) {
- e.printStackTrace();
- }
- //Java創(chuàng)建XML
- DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
- try {
- DocumentBuilder db = dbf.newDocumentBuilder();
- Document doc = db.newDocument();
- Element langs = doc.createElement("langs");
- langs.setAttribute("type", "current");
- doc.appendChild(langs);
- Element language1 = doc.createElement("language");
- Text text1 = doc.createTextNode("Java");
- language1.appendChild(text1);
- langs.appendChild(language1);
- Element language2 = doc.createElement("language");
- Text text2 = doc.createTextNode("Groovy");
- language2.appendChild(text2);
- langs.appendChild(language2);
- Element language3 = doc.createElement("language");
- Text text3 = doc.createTextNode("JavaScript");
- language3.appendChild(text3);
- langs.appendChild(language3);
- } catch (Exception e) {
- e.printStackTrace();
- }
為了解析和創(chuàng)建小小的一段XML代碼需要編寫如此冗長(zhǎng)的Java代碼，而實(shí)現(xiàn)同樣的功能動(dòng)態(tài)語(yǔ)言Groovy則十分簡(jiǎn)潔：
- //Groovy解析XML
- def langs = new XmlParser().parse("languages.xml")
- println "type = ${langs.attribute("type")}"
- langs.language.each{
- println it.text()
- }
- //Groovy創(chuàng)建XML
- def xml = new groovy.xml.MarkupBuilder()
- xml.langs(type:"current"){
- language("Java")
- language("Groovy")
- language("JavaScript")
- }
上面Groovy操作XML的代碼簡(jiǎn)潔而富有表達(dá)力，代碼與XML幾乎是一一對(duì)應(yīng)的，如同直接在XML上進(jìn)行操作的DSL一樣，而相應(yīng)的Java代碼則看不到XML的影子。這說(shuō)明Groovy具有很高的XML數(shù)據(jù)的親和力。為什么Java和Groovy在XML親和力方面有這樣的差異呢?原因在于Java要求所有的方法和屬性都必須先定義再調(diào)用，嚴(yán)格的靜態(tài)類型檢查使得Java只能把XML元素作為“二等公民”來(lái)表達(dá);而Groovy則沒(méi)有靜態(tài)類型檢查的限制，可以自由地使用方法和屬性來(lái)表達(dá)XML結(jié)構(gòu)。上面用Groovy創(chuàng)建XML的例子中，groovy.xml.MarkupBuilder類中實(shí)際上并沒(méi)有l(wèi)angs, language這些方法，但會(huì)在調(diào)用的時(shí)候自動(dòng)創(chuàng)建相應(yīng)的XML結(jié)構(gòu)。
除了XML外，JSON是另一種通用的半結(jié)構(gòu)化的純文本數(shù)據(jù)交換格式，它常被視為輕量級(jí)的XML。JSON的本意是Javascript的對(duì)象表示(Javascript Object Notation)，它屬于Javascript的語(yǔ)法子集，Javascript對(duì)JSON有原生的支持。下面就是一個(gè)在Javascript中創(chuàng)建JSON對(duì)象的例子：
- var json = { “langs” : {
- "type” : "current”,
- "language” : ["Java”, "Groovy”, "Javascript”]
- }
- }
許多Javascript程序都會(huì)通過(guò)AJAX都從服務(wù)器獲取JSON字符串，然后把字符串解析為JSON對(duì)象。由于Javascript對(duì)JSON的原生支持，所以，在Javascript中解析JSON字符串可以采用通用的eval方式，如：
- var json = eval(“(" + jsonStr + “)");
- alert(json.langs.type);
甚至可以：
- eval(“var json = ” + jsonStr);
- alert(json.langs.type);
不過(guò)eval的通用性帶來(lái)了一定的安全隱患，所以一般只建議對(duì)受信任的數(shù)據(jù)源采用eval方式解析JSON，對(duì)于不受信任的數(shù)據(jù)源可以采用專門的JSON解析庫(kù)。無(wú)論如何Javascript對(duì)JSON的原生支持都使得Javascript具有很高的JSON數(shù)據(jù)親和力。另外，Groovy 1.8也加入了對(duì)JSON的原生支持，操作JSON與Javascript一樣方便。
總結(jié)
到這里為止本文篇幅已經(jīng)很長(zhǎng)了，只能列舉二進(jìn)制字節(jié)塊格式、文本格式和結(jié)構(gòu)化文本格式3種典型的數(shù)據(jù)格式。實(shí)際上，數(shù)據(jù)親和力的話題還有很多值得探討的，比如C#的Linq。本文的探討算是拋磚引玉，目的在于引起大家注意在比較語(yǔ)言的時(shí)候不要忽略了數(shù)據(jù)親和力這樣一個(gè)重要方面。
原文鏈接：http://www.cnblogs.com/weidagang2046/archive/2011/06/27/2091765.html
【編輯推薦】
