實(shí)時(shí)數(shù)據(jù)庫(kù)中的二級(jí)壓縮技術(shù)
導(dǎo)讀：對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)而言，數(shù)據(jù)壓縮可以帶來(lái)兩方面的好處：占用硬盤容量減小、系統(tǒng)整體處理速度提高。隨著計(jì)算機(jī)硬件水平的提高，硬件成本在整個(gè)系統(tǒng)投入的比重逐步下降，硬盤容量不再是實(shí)時(shí)數(shù)據(jù)庫(kù)中最主要的矛盾，但對(duì)系統(tǒng)整體處理速度及性能的追求，還是非常重要的。下文中就是實(shí)時(shí)數(shù)據(jù)庫(kù)中二級(jí)壓縮技術(shù)的講解。
壓縮比例的提高，對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)的整體性能的提高有很大的推動(dòng)作用（但不一定成正比），因此，有必要分析一下，能否對(duì)已經(jīng)進(jìn)行有損壓縮處理的數(shù)據(jù)進(jìn)行二級(jí)壓縮。
如何進(jìn)行二級(jí)壓縮？
從剛才分析的情況，大家很可能就得出結(jié)論，行呀，先通過(guò)有損壓縮，將點(diǎn)數(shù)由52個(gè)變成6個(gè)，再對(duì)剩下的6個(gè)點(diǎn)進(jìn)行編碼，再進(jìn)行哈佛曼壓縮或別的什么壓縮，不就行了？
哈佛曼壓縮的特點(diǎn)是，將那些經(jīng)常使用的字母用較小長(zhǎng)度的字節(jié)表示，這在文本和字符串壓縮中會(huì)有比較大的效果，比如英文那個(gè)e就是用得很多的，而漢字中的五筆字型也有一級(jí)編碼、二級(jí)編碼等，也就是說(shuō)，它們具有可壓縮的余地。
如果大家對(duì)隨機(jī)的數(shù)據(jù)點(diǎn)，比如剛才6個(gè)數(shù)據(jù)點(diǎn)，采用哈佛曼或其它無(wú)損壓縮試驗(yàn)，會(huì)發(fā)現(xiàn)壓縮率不會(huì)特別地高，也就是說(shuō)，再次進(jìn)行無(wú)損壓縮的意義已經(jīng)不是特別地大。 難度就沒(méi)有別的辦法了？辦法還是有的，要完整地表達(dá)測(cè)點(diǎn)的一個(gè)數(shù)據(jù)，需要包括以下四個(gè)字段：
測(cè)點(diǎn)ID
時(shí)間戳
質(zhì)量戳
值
其中，同一測(cè)點(diǎn)的多個(gè)數(shù)據(jù)可以保存在一起，因此，測(cè)點(diǎn)ID可以不考慮。還剩下三個(gè)字段，仔細(xì)分析一下這三個(gè)字段的特性，還是有很多文章可做的。
值
先考慮“值”字段，我們采用8字節(jié)的雙精度數(shù)來(lái)表示一個(gè)模擬量，這里就存在一個(gè)由低精度值來(lái)表示高精度值的可能。如果一批數(shù)據(jù)中，全部（或大部分）數(shù)據(jù)都可以由4個(gè)字節(jié)（或2個(gè)字節(jié)）來(lái)表示精度誤差范圍內(nèi)的8字節(jié)雙精度數(shù)，便可以節(jié)省下很多空間了。
當(dāng)然，如果我們能明確地知道某數(shù)據(jù)的精度范圍，便可直接在配置環(huán)境下選擇最合適的數(shù)據(jù)類型，而不必要一定要選擇雙精度數(shù)。
對(duì)于值，還有另一種壓縮思路，在流程工業(yè)中，某值的絕對(duì)值可能非常大，但如果該值在某時(shí)間段時(shí)的變量范圍在某個(gè)精度范圍內(nèi)，也可以采用基準(zhǔn)值+變化值的方式保存值，其中基準(zhǔn)值只保存一次，而變化值用低精度值表示。
質(zhì)量戳
質(zhì)量戳是慢變化量，如果不與值共同保存，則可以有很高的壓縮比。但如果不共同保存，則需要考慮查找的索引方式，這是一筆額外的空間開(kāi)銷。
時(shí)間戳
對(duì)于時(shí)間戳，也可以按照值相類似的方式來(lái)考慮。
首先，那個(gè)毫秒字段，不一定是每個(gè)系統(tǒng)每個(gè)測(cè)點(diǎn)都需要的。再者，兩個(gè)時(shí)間之間的相差值，在大部分情況下，不會(huì)超過(guò)1天的，這個(gè)就可以采用簡(jiǎn)化表示。還有，現(xiàn)在的系統(tǒng)，肯定不需要再處理時(shí)間為2000年以前的時(shí)間了。
以上只是分析，在實(shí)際系統(tǒng)中，還需要考慮這些因素的制約關(guān)系，解壓的難度和時(shí)間度，索引建立的方便性，以及編程的復(fù)雜度。希望上文中涉及到的內(nèi)容對(duì)大家能夠有所幫助。
【編輯推薦】
