成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

幾萬條群離線消息,如何高效拉取,會不會丟?

開發 開發工具
關于寫擴散、讀擴散的問題,之前專門撰文寫過,今天不直接同步結論,重點說說設計的思考過程。

 

 

繼續答球友提問:

  • 群離線消息是推還是拉?
  • 幾萬條群離線消息,怎么保證不丟失?

群離線消息,是推還是拉?

關于寫擴散、讀擴散的問題,之前專門撰文寫過,今天不直接同步結論,重點說說設計的思考過程。

畫外音:結論不如思路重要。

假如群離線是推,流程應該如何?會遇到什么問題?

先看看群離線消息的核心數據結構。

群成員表:

  1. t_group_users(group_id, user_id) 

畫外音:用來描述一個群里有多少成員。

群離線消息表:

  1. t_offine_msgs(user_id, group_id, sender_id,time, msg_id, msg_detail) 

畫外音:用來描述一個群成員的離線消息。

推,寫擴散,存儲群離線消息的過程如何?

  • 先從群成員表中,獲取群里有多少個用戶;
  • 從某個服務中,獲取這些用戶有多少個不在線;
  • 將群消息,插入到這些用戶的群離線消息表;

畫外音:如果要支持消息漫游,則可以省略步驟二。

此時,用戶拉取離線消息的過程如何?

  • 用戶登錄,向server拉取離線消息;
  • server返回并刪除離線消息;

離線消息推,存在什么問題?

對于同一份群消息的內容,多個離線用戶要存儲很多份。假設群中有200個用戶離線,離線消息則冗余了200份,這極大的增加了數據庫的存儲壓力。

如何優化,減少消息冗余量?

為了減少離線消息的冗余度,增加一個群消息表,用來存儲所有群消息的內容,離線消息表只存儲用戶的群離線消息msg_id,就能大大的降低數據庫的冗余存儲量。

群消息表:

  1. t_group_msgs(group_id, sender_id, time, msg_id, msg_detail) 

畫外音:用來存儲一個群中所有的消息內容。

群離線消息表,需要進行優化:

  1. t_offine_msgs(user_id, group_id, msg_id) 

畫外音:優化后只存儲msg_id。

這樣優化后,群消息的發送和存儲要做一些升級:

  • 每次發送群消息之前,先存儲群消息的內容;
  • 每次存儲離線消息時,只存儲msg_id,而不用為每個用戶存儲msg_detail;

相應的,拉取離線消息也要做對應的升級:

  • 先拉取所有的離線消息msg_id;
  • 再根據msg_id拉取msg_detail;
  • 刪除時,只刪除自己的離線msg_id,而不刪除msg_detail;

畫外音:畢竟msg_detail只存儲了一份,不能隨便刪。

上述過程,能保證離線消息的可達性么?

不能。

例如:server返回客戶端離線消息之后,刪除了離線消息,但客戶端沒有展現就奔潰了,離線消息就會丟失。

如何解決離線消息可達性呢?

很容易想到,通過ACK機制,server返回離線消息之后,不能立刻刪除離線消息,而必須等客戶端ACK,才能刪除。

此時,離線消息拉取升級為:

  • 用戶登錄,向server拉取離線消息;
  • server返回離線消息;
  • 客戶端確認收到了離線消息;
  • server再刪除離線消息;

畫外音:增加了3和4兩個步驟。

還有一個問題,一次有幾十個群,每個群有幾千條離線消息,共計幾萬條群離線消息,消息量過大怎么辦?

當然不能一次性拉取,可以:

  • 分群拉取;
  • 每個群分頁拉取;
  • 拉取一頁,刪除一頁,拉取下一頁,刪除下一頁...

如果拉取了消息,卻沒來得及應用層ACK,會收到重復的消息么?

可以在客戶端去重,對于重復的msg_id,對用戶不展現,從而不影響用戶體驗。

如上所示,簡單總結就是:

  • 群消息表存儲消息實體msg_detail;
  • 群離線消息表,存每個用戶的msg_id;
  • 分頁拉取+應用層ACK,即保證性能,又保證消息可達性;
  • 客戶端msg_id去重,保證用戶體驗;

上面講的都是“推”模式,群離線消息的設計,真正線上應用較多的,是“拉”模式。

推模式,存在什么問題?

對于離線的每一條消息,雖然只存儲了msg_id,但是每個用戶的每一條離線消息都將在數據庫中保存一條記錄,有沒有辦法減少離線消息的記錄數呢?

對于一個群用戶,在ta登出后的離線期間內,肯定是所有的群消息都沒有收到的,完全不用對所有的每一條離線消息存儲一個離線msg_id,而只需要存儲最近一條拉取到的離線消息的time(或者msg_id),下次登錄時拉取在那之后的所有群消息即可,而完全沒有必要存儲每個人未拉取到的全部離線消息msg_id。

拉模式,需要對數據結構進行怎樣的升級?

群成員表,增加一個屬性:

  1. t_group_users(group_id, user_id, last_ack_msg_id) 

畫外音:用來描述一個群里有多少成員,以及每個成員最后一條ack的群消息的msg_id(或者time)。

群消息表,不變:

  1. t_group_msgs(group_id, sender_id, time, msg_id, msg_detail) 

畫外音:還是用來存儲一個群中所有的消息內容。

群離線消息表:不再需要。

使用拉模式后,群消息的發送和存儲也要升級:

  • 在消息msg_detail存儲到群消息表后,不再需要操作離線消息表(之前需要將msg_id插入離線消息表);
  • 用戶收到消息,應用層ACK后,將last_ack_msg_id更新(之前需要將msg_id從離線消息表刪除);

群離線消息的拉取流程也類似:

  • 分頁拉取離線消息;
  • ACK離線消息;
  • 更新last_ack_msg_id;

總結

群消息還是非常有意思的,做個簡單總結:

  • 群離線消息一般采用拉取模式,只存一份,不需要為每個用戶存儲離線群msg_id,只需存儲一個最近ack的群消息id/time;
  • 為了保證消息可達性,在線消息和離線消息都需要ACK;
  • 離線消息過多,可以分群拉取、分頁拉取等優化;

畫外音:還可按需拉取,登錄不拉取,點進群再拉取。

  • 如果收到重復消息,需要msg_id去重,讓用戶無感知;

【本文為51CTO專欄作者“58沈劍”原創稿件,轉載請聯系原作者】

戳這里,看該作者更多好文

責任編輯:趙寧寧 來源: 51CTO專欄
相關推薦

2020-11-13 07:14:55

Kafka消息中間件

2013-05-16 10:15:11

信息泄密彭博Bloomberg

2018-10-11 09:33:51

Kafka消息處理

2025-04-15 09:00:00

2016-11-02 13:12:31

微信離線消息

2022-04-20 11:41:45

Kafka數據解決方案

2015-09-21 11:06:48

2018-09-13 09:39:03

騰訊運維IT

2022-04-12 16:39:55

數據泄露網絡攻擊

2025-04-17 09:00:00

架構聊消息微信

2016-11-10 21:00:49

消息存儲數據

2024-11-04 09:41:47

2024-12-20 07:30:00

2018-07-25 13:47:51

彭于晏邪不壓正Python

2013-08-08 10:34:16

云計算中間件

2013-10-25 09:22:14

2022-06-20 08:01:56

Kafka服務器數據量

2014-01-21 17:36:58

2021-02-07 18:07:28

大數據AI人工智能

2009-12-04 10:41:03

臺式機消亡
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日韩一级 | 国产精品视频久久久 | 久久看精品 | 亚洲免费精品 | 黄色一级毛片 | av中文字幕在线 | 国产成人精品一区二区 | 国产日韩久久久久69影院 | 国产丝袜一区二区三区免费视频 | 国产欧美一区二区三区在线看 | 欧美在线视频网站 | 久久精品免费观看 | 粉嫩粉嫩芽的虎白女18在线视频 | 欧美在线一区二区三区 | 影音先锋中文在线 | 国产精品无码久久久久 | 久久精品91 | 91久久精品视频 | 国产在线精品一区二区 | 国产成人精品一区二 | 国产三级 | 午夜免费网 | 国产精品久久国产精品 | 免费在线观看成年人视频 | 午夜在线免费观看 | 日韩精品二区 | 久久精品一区二区 | 国产成人jvid在线播放 | 九九九国产 | 人人干人人玩 | 伊人狠狠干 | 成人免费网站www网站高清 | 久久久久亚洲 | 91xx在线观看 | 精品一区二区三区视频在线观看 | 精品国产不卡一区二区三区 | 91就要激情 | 天天躁人人躁人人躁狂躁 | 久久成人综合 | 中文字幕精 | 国产欧美久久一区二区三区 |