為什么只有Unicode是不夠的，UTF-8如何解決編碼問題?
Unicode
Unicode是一種字符編碼標準，它為世界上幾乎所有的文字和符號分配了唯一的數字編碼。這使得不同的計算機系統和軟件能夠正確地顯示和處理各種語言的文字。Unicode采用16位或32位編碼，可以表示超過130萬個字符。
「為什么只有Unicode是不夠的」
- 「編碼長度不一致」：在Unicode中，字符的編碼長度可以是1個字節、2個字節、3個字節或4個字節，這使得在存儲和傳輸時需要考慮編碼長度的不一致性。
- 「存儲和傳輸效率」：由于Unicode字符集非常龐大，使用Unicode編碼可能會導致存儲和傳輸效率低下，特別是對于只包含少量字符的文本而言。
- 「兼容性」：許多現有的系統和軟件可能仍然使用其他編碼方式，如ASCII、ISO-8859等，因此需要與這些編碼方式進行兼容。
舉個例子，假如我們自己為字符編碼，編碼規則如下：
a -- 1
b -- 2
c -- 3
...
z -- 26如果用上面的編碼表示add，結果就是144。而當我們要表示hello時沒結果就是85121215。此時85121215還可以表示為heababo、heababae、heablo等，此時這個編碼結果就不正確了。
圖片
此時的12和15就可以表示為不同的組合，這就會導致結果差異。這里僅僅只是表示了26個字母，再加入其他字符的情況下Unicode遠遠是不夠的。
我們看看UTF-8如何解決上面的編碼問題，此時有兩種思路：
- 第一種是固定位數解析：如固定兩位解析，不足的補0。這時 hello的編碼結果就為0805121215。
- 第二種是增加標志位：如最簡單的加空格，這時hello的編碼就是8 5 12 12 15。
在Unicode中，解決方案叫UTF(Unicode transformation format)，有三種編碼方式分別是UTF-8、UTF-16、UTF-32。UTF-32是第一種思路，固定32位解析，不足補0；UTF-8、UTF-16則是第二種思路。
UTF-8
UTF-8（8-bit Unicode Transformation Format）是一種針對Unicode的可變長度字符編碼，它可以用來表示世界上幾乎所有的字符。在UTF-8編碼中，每個字符的編碼長度可以是1個字節、2個字節、3個字節或4個字節，這使得UTF-8編碼非常靈活，可以節省存儲空間。UTF-8編碼通過靈活的字節長度來表示Unicode字符，使得它成為一種廣泛應用的字符編碼方式。
UTF-8編碼的特點：
- 對于英文字符，使用1個字節表示，與ASCII兼容；
- 對于常見的其他語言（如西歐語言、中文、日文等）的字符，使用2個或3個字節表示；
- 對于較少使用的字符，使用4個字節表示。
UTF-8使用1至4個字節來表示一個字符。其編碼規則如下：
圖片
- 對于單字節字符（即ASCII字符），UTF-8編碼和ASCII編碼是相同的。
- 對于多字節字符，UTF-8使用不同的字節序列來表示不同的Unicode碼位。具體規則如下：
- 對于碼位在U+0000至U+007F范圍內的字符，使用一個字節表示，最高位為0。
- 對于碼位在U+0080至U+07FF范圍內的字符，使用兩個字節表示，最高三位為110。
- 對于碼位在U+0800至U+FFFF范圍內的字符，使用三個字節表示，最高四位為1110。
- 對于碼位在U+10000至U+10FFFF范圍內的字符，使用四個字節表示，最高五位為11110。
這種編碼方式保證了對于不同范圍的Unicode字符，UTF-8編碼的字節數是不同的，從而實現了對Unicode字符集的高效編碼和兼容性。
我們用漢這個字為例：
**漢**的 Unicode 編碼為:U+6C49
**漢**對應的二進制為:01101100 01001001漢的Unicode為U+6C49，所以對應規則多字節中的三個字節，此時編碼規則為1110xxxx 10xxxxxx 10xxxxxx。
圖片
將對用的二進制帶入編碼規則中得到編碼為:11100110 10110001 10001001。
總結
Unicode是一種字符集，它為世界上幾乎所有的字符分配了一個唯一的標識符，以便計算機可以理解和處理各種語言的文本。Unicode的目標是為全球范圍內的每個字符提供一個唯一的標識符。
UTF-8是一種Unicode的實現方式，它是一種可變長度的字符編碼方式，可以用來表示Unicode標準中的字符。UTF-8編碼使用1到4個字節來表示一個字符，根據字符的不同范圍來確定使用的字節數，這樣可以節省存儲空間并提高傳輸效率。
Unicode的提出解決了傳統字符編碼方案的局限性，使得計算機可以更好地處理全球范圍內的多語言文本。而UTF-8作為Unicode的一種實現方式，為文本的存儲和傳輸提供了高效的解決方案。
