云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的實踐
優化一個分布式系統的吞吐能力,除了應用本身代碼外,很大程度上是在優化它所依賴的中間件集群處理能力。如:kafka/redis/rabbitmq/postgresql/分布式存儲(CephFS,JuiceFS,C urve,Longhorn)等集群的處理能力。
分布式存儲集群(Longhorn)
這里主要用于 Citus 集群的協調器(coordinator)和工作器(worker) 節點的數據持久化。
具體文檔,請參閱:https://longhorn.io/
分布式 PostgreSQL 集群(Citus)
這里主要用于對 Sentry 事件源數據大表 nodestore_node 的分片。
具體文檔,請參閱:
https://docs.citusdata.com/en/v11.1/
讀寫分離和高可用(PgPool+Repmgr)
這里主要用于對 Citus 節點(協調器/工作器)進行讀寫分離和主備高可用。
具體文檔,請參閱:
https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html
https://repmgr.org/
管理集群節點(PgAdmin)
具體文檔,請參閱:
https://www.pgadmin.org/
nodestore_node 大表分片
選擇分布式 key,并將表轉換分布式表,這里將表劃分為 64 個分片,數據平均分配到 6 臺 worker 節點:
總結
中間件集群基礎設施建設,本身涉及細節較多,可以說是另一個領域。
本文提供了一種筆者的實踐思路,拋磚引玉。