一、數(shù)據(jù)分片與分配算法

為了應(yīng)對(duì)流量并發(fā)瓶頸，以及方便數(shù)據(jù)遷移與擴(kuò)容，數(shù)據(jù)分片方式是常用的解決方式。

Kafka的分區(qū)（partition）、RocketMQ的隊(duì)列（Queue）、Elasticsearch的主分片/副本（shard）、數(shù)據(jù)庫的分庫分表等，均采用數(shù)據(jù)分片思想應(yīng)對(duì)高并發(fā)流量。

Redis的集群模式也不例外，采用虛擬槽slot實(shí)現(xiàn)數(shù)據(jù)分片。

Redis的槽位范圍0~16383，共16384個(gè)槽位。

Redis Cluster中每個(gè)節(jié)點(diǎn)負(fù)責(zé)一部分槽數(shù)量，分配算法：slot=CRC16（key）&16383。

槽位分配與選擇示意圖如下：

二、Gosisp協(xié)議類型與格式

1、Gosisp協(xié)議類型

節(jié)點(diǎn)通信使用Gosisp協(xié)議，消息類型有：ping消息、pong消息、meet消息、fail消息。

• MEET消息：當(dāng)新節(jié)點(diǎn)加入時(shí)握手使用。
• PING消息：節(jié)點(diǎn)之間周期性地發(fā)送ping消息、交換狀態(tài)。
• PONG消息：收到meet、ping消息的響應(yīng)、并封裝自身狀態(tài)消息。
• FAIL消息：當(dāng)節(jié)點(diǎn)下線時(shí)，像集群廣播一個(gè)fail消息，其他節(jié)點(diǎn)收到會(huì)更新該節(jié)點(diǎn)的狀態(tài)。

通信端口=節(jié)點(diǎn)端口+10000。

每個(gè)節(jié)點(diǎn)周期性的選擇幾個(gè)節(jié)點(diǎn)發(fā)送ping消息。

2.消息頭格式

消息頭的結(jié)構(gòu)在clusterMsg中，具體屬性如下：

3.消息體格式

消息體clusterMsgData結(jié)構(gòu)如下：

union clusterMsgData {
    /* PING, MEET and PONG */
    struct {
        /* Array of N clusterMsgDataGossip structures */
        clusterMsgDataGossip gossip[1];
        /* Extension data that can optionally be sent for ping/meet/pong
         * messages. We can't explicitly define them here though, since
         * the gossip array isn't the real length of the gossip data. */
    } ping;

    /* FAIL */
    struct {
        clusterMsgDataFail about;
    } fail;

    /* PUBLISH */
    struct {
        clusterMsgDataPublish msg;
    } publish;

    /* UPDATE */
    struct {
        clusterMsgDataUpdate nodecfg;
    } update;

    /* MODULE */
    struct {
        clusterMsgModule msg;
    } module;
};

備注：clusterMsgDataGossip：PING, MEET and PONG采用的消息結(jié)構(gòu)體，詳細(xì)如下。

typedef struct {
    char nodename[CLUSTER_NAMELEN];
    uint32_t ping_sent;
    uint32_t pong_received;
    char ip[NET_IP_STR_LEN];  /* IP address last time it was seen */
    uint16_t port;              /* base port last time it was seen */
    uint16_t cport;             /* cluster port last time it was seen */
    uint16_t flags;             /* node->flags copy */
    uint16_t pport;             /* plaintext-port, when base port is TLS */
    uint16_t notused1;
} clusterMsgDataGossip;

• nodename：節(jié)點(diǎn)NodeId
• ping_sent：最后一次向該節(jié)點(diǎn)發(fā)送ping消息時(shí)間
• pong_received：最后一次接受該節(jié)點(diǎn)pong消息時(shí)間
• ip/port/cport/flags/pport：IP端口以及節(jié)點(diǎn)標(biāo)識(shí)

三、節(jié)點(diǎn)選擇與通信流程

1.節(jié)點(diǎn)通信流程

兩個(gè)節(jié)點(diǎn)之間發(fā)送MEET/PING消息，回復(fù)PONG消息的流程如下。

2.通信節(jié)點(diǎn)選擇

Gosisp協(xié)議PING/PONG通信時(shí)，具體選擇哪個(gè)節(jié)點(diǎn)發(fā)起通信？

每秒從本地實(shí)例列表選擇5個(gè)節(jié)點(diǎn)，在這5個(gè)節(jié)點(diǎn)中選擇最久沒有通信的實(shí)例，向該實(shí)例發(fā)送PING消息。

避免一些實(shí)例節(jié)點(diǎn)一直選不到，會(huì)有一個(gè)定時(shí)任務(wù)掃描兜底措施。

集群內(nèi)部每秒10次的固定頻率掃描本地緩存節(jié)點(diǎn)列表，也就是每100ms一次。

如果節(jié)點(diǎn)：PONG更新時(shí)間>（cluster-node-timeout/2）立即向該節(jié)點(diǎn)發(fā)送PING消息。

cluster-node-timeout是判定實(shí)例故障的心跳超時(shí)時(shí)間，默認(rèn)15秒。