面試必備:如何將一個長URL轉換為一個短URL?
一、前言
前幾天整理面試題的時候,有一道試題是《如何將一個很長的URL轉換為一個短的URL,并實現他們之間的相互轉換?》,現在想起來這是一個絕對不簡單的問題,需要考慮很多方面,今天和大家一起學習研究一下!
短網址:顧名思義,就是將長網址縮短到一個很短的網址,用戶訪問這個短網址可以重定向到原本的長網址(也就是還原的過程)。這樣可以達到易于記憶、轉換的目的,常用于有字數限制的微博、二維碼等等場景。
關于短URL的使用場景,舉個簡單的例子來說明一下,看一下業務中使用短URL的重要性!
二、短地址使用場景
1、新浪微博
我們在新浪微博上發布網址的時候,微博會自動判別網址,并將其轉換,例如:https://t.cn/RuPKzRW。為什么要這樣做的?
這是因為微博限制字數為140字一條,那么如果我們需要發一些鏈接上去,但是這個鏈接非常的長,以至于將近要占用我們內容的一半篇幅,這肯定是不能被允許的或者說用戶體驗很差的,所以短網址應運而生了,短網址這種服務可以說是在微博出現之后才流行開來的!往下看:
(1)首先,我先發一條微博帶有一個URL地址:
(2)然后,看他轉換之后顯示的效果是什么樣子的哪?
(3)查看對應頁面元素的HTML源碼如下:
(4)可以看出:https://blog.csdn.net/xlgen157387/article/details/79863301 被轉換為:http://t.cn/RuPKzRW,此時你訪問http://t.cn/RuPKzRW是可以定位到https://blog.csdn.net/xlgen157387/article/details/79863301,也就是實現了轉換。
2、短網址二維碼
網址在轉換成短網址時,也可以生成相應的短網址二維碼,短網址二維碼的應用,二維碼核心解決的是跨平臺、跨現實的數據傳輸問題;而且二維碼跟應用場景結合之后,所能解決的問題會越來越多。
(1)短網址二維碼相比短鏈接更方便,能少輸入,盡量少輸入,哪怕只是少點一下鍵盤,都是有意義的。
(2)二維碼只是掃描一個簡單的鏈接,打開的卻是一個世界。想象一下,用手機購買售貨機里商品,二維碼掃描是略快于從用手機找到該售貨機并找到該商品的,而且這種操作相對于搜索/查找而言不是更優雅嗎?
(3)所有商超里面的商品,都是使用條碼來確定商品的***性的,去買單的時候都是掃描條碼。試想,如果里面加入了更多產品的生產日期、廠家、流轉途徑、原材料等等信息,是不是厲害了呢?特別是針對食品信息的可追溯上,二維碼應用場景更廣泛。
三、短地址的好處
除了上述場景中,我們將長地址轉換為短地址的使用場景的優點(壓縮URL長度)之外,短地址還具有很多實際場景中的優點,例如:
(1)節省網址長度,便于社交化傳播,一個是讓URL更短小,傳播更方便,尤其是URL中有中文和特殊字符,短網址解決很長的URL難以記憶不利于傳播的問題;
(2)短網址在我們項目里可以很好的對開放以及對URL進行管理。有一部分網址可以會涵蓋性、暴力、廣告等信息,這樣我們可以通過用戶的舉報,完全管理這個連接將不出現在我們的應用中,對同樣的URL通過加密算法之后,得到的地址是一樣的;
(3)方便后臺跟蹤點擊量、地域分布等用戶統計。我們可以對一系列的網址進行流量,點擊等統計,挖掘出大多數用戶的關注點,這樣有利于我們對項目的后續工作更好的作出決策;
(4)規避關鍵詞、域名屏蔽手段、隱藏真實地址,適合做付費推廣鏈接;
(5)當你看到一個淘寶的寶貝連接后面是200個“e7x8bv7c8bisdj”這樣的字符的時候,你還會覺得舒服嗎。更何況微博字數只有140字,微博或短信里,字數不夠,你用條短網址就能幫你騰出很多空間來;
四、短網址服務提供平臺
目前,國內網又很多提供短地址服務的平臺,例如:
- 新浪:http://sina.lt/
- 百度:http://dwz.cn/
- 0x3:http://0x3.me/
- MRW:http://mrw.so/
等等還有很多,這個可以搜索一下就會有很多!但是一個注意的是,如果使用某一個平臺的短地址服務,一定要保證長期可靠的服務,不然一段時間失效了,我們以前已經轉換的URL就完了!
這里以百度例,將我們上述博客的地址轉換為短地址如下所示:
當然,對于我們的業務來說,如果自己可以提供自己的短URL服務那才是更好的,不需要受制于人!(中國芯片需要崛起!!!)
五、關于如何生成短地址URL的討論
關于短地址URL如何生成方式的,網上有很多方式,有基于映射的,有基于Hash的,有基于簽名的,但是總的來說并不能滿足絕大部分場景的使用,或者說是一種錯誤的設計方式。這里不再重復造輪子!以下是知乎用戶iammutex關于該問題的探討,截圖過來和大家一起學習一下:
六、生成短地址URL需要注意的
看到上述知乎用戶iammutex關于如何正確生成短地址URL的探討,我們知道了,可以通過發號器的方式正確的生成短地址,生成算法設計要點如下:
(1)利用放號器,初始值為0,對于每一個短鏈接生成請求,都遞增放號器的值,再將此值轉換為62進制(a-zA-Z0-9),比如***次請求時放號器的值為0,對應62進制為a,第二次請求時放號器的值為1,對應62進制為b,第10001次請求時放號器的值為10000,對應62進制為sBc。
(2)將短鏈接服務器域名與放號器的62進制值進行字符串連接,即為短鏈接的URL,比如:t.cn/sBc。
(3)重定向過程:生成短鏈接之后,需要存儲短鏈接到長鏈接的映射關系,即sBc -> URL,瀏覽器訪問短鏈接服務器時,根據URL Path取到原始的鏈接,然后進行302重定向。映射關系可使用K-V存儲,比如Redis或Memcache。
七、生成短地址之后如何跳轉哪?
對于該部分的討論,我們可以認為他是整個交互的流程,具體的流程細節如下:
(1)用戶訪問短鏈接:http://t.cn/RuPKzRW;
(2)短鏈接服務器t.cn收到請求,根據URL路徑RuPKzRW獲取到原始的長鏈接(KV緩存數據庫中去查找):https://blog.csdn.net/xlgen157387/article/details/79863301;
(3)服務器返回302狀態碼,將響應頭中的Location設置為:https://blog.csdn.net/xlgen157387/article/details/79863301;
(4)瀏覽器重新向https://blog.csdn.net/xlgen157387/article/details/79863301發送請求;
(5)返回響應;
八、短地址發號器優化方案
1、算法優化
采用以上算法,如果不加判斷,那么即使對于同一個原始URL,每次生成的短鏈接也是不同的,這樣就會浪費存儲空間(因為需要存儲多個短鏈接到同一個URL的映射),如果能將相同的URL映射成同一個短鏈接,這樣就可以節省存儲空間了。主要的思路有如下兩個:
方案1:查表
每次生成短鏈接時,先在映射表中查找是否已有原始URL的映射關系,如果有,則直接返回結果。很明顯,這種方式效率很低。
方案2:使用LRU本地緩存,空間換時間
使用固定大小的LRU緩存,存儲最近N次的映射結果,這樣,如果某一個鏈接生成的非常頻繁,則可以在LRU緩存中找到結果直接返回,這是存儲空間和性能方面的折中。
2、可伸縮和高可用
如果將短鏈接生成服務單機部署,缺點一是性能不足,不足以承受海量的并發訪問,二是成為系統單點,如果這臺機器宕機則整套服務不可 用,為了解決這個問題,可以將系統集群化,進行“分片”。
在以上描述的系統架構中,如果發號器用Redis實現,則Redis是系統的瓶頸與單點,因此,利用數據庫分片的設計思想,可部署多個發號器實例,每個實例負責特定號段的發號,比如部署10臺Redis,每臺分別負責號段尾號為0-9的發號,注意此時發號器的步長則應該設置為10(實例個數)。
另外,也可將長鏈接與短鏈接映射關系的存儲進行分片,由于沒有一個中心化的存儲位置,因此需要開發額外的服務,用于查找短鏈接對應的原始鏈接的存儲節點,這樣才能去正確的節點上找到映射關系。
九、如何用代碼實現短地址
說到這里終于說到重點了,很多小伙伴已經按捺不住了,不好意思讓大家失望了,這只是一片簡單的文章,并不能把這么繁雜的一個系統演示清楚!秉著不要重復造輪子的原則,這里給出一個為數不多還算可以的實現短地址的開源項目:urlshorter
注意:urlshorter本身還是基于隨機的方式生成短地址的,并不算是一個短地址發號器,因此會有性能問題和沖突的出現,和知乎用戶iammutex 描述的實現方式還是有區別的!而關于短地址發號器的方式目前還沒有找到更好的開源項目可供參考!
項目地址:https://gitee.com/tinyframework/urlshorter
十、總結
到此為止,我們一起學習了什么是短地址,短地址的優點,如何選擇一種正確的方式來實現我們的短地址,以及在碼云上找到的一個還算可以的短地址生成項目,相信此時的你能夠有一個更好的了解!