聊聊 Python 數據處理全家桶(Memcached篇)
本文轉載自微信公眾號「星安果」,作者AirPython 。轉載本文請聯系星安果公眾號。
1. 前言
本篇文章繼續繼續另外一種比較常用的數據存儲方式:Memcached
Memcached:一款高性能分布式內存對象緩存系統,通過 內存緩存,以減少數據庫的讀取,從而分擔數據庫的壓力,進而提高網站的加載速度
Memcached,實際上是一套簡潔的鍵值對存儲系統,可以存儲各種類型的數據,包含:字符串、對象、圖像、文件、視頻等
由于 Memcached 的數據存儲在內存中,因此重啟服務或系統之后,數據會全部丟失;另外,當 Memcached 使用容量達到指定值時,會基于 LRU 算法,自動刪除掉不使用的緩存
Memcached 協議簡潔而強大,開發方便快捷,兼容大部分的開發語言;本篇文章就聊聊 Python 操作 Memcached 正確的姿勢
2. 準備
我們以在云服務器 Centos 7.8 安裝 Memcached-Server 為例
首先,在云服務器上安裝 Memcached
- # 使用yum安裝memcached
- yum install memcached
通過 whereis 命令,查詢出 Memcached 安裝的目錄
- # 使用whereis命令查詢memcached安裝目錄
- # /usr/bin/memcached
- [root@VM-16-11-centos ~]# whereis memcached
- memcached: /usr/bin/memcached /usr/share/man/man1/memcached.1.gz
然后,通過命令行及參數啟動 Memcached 服務
- # 運行memcached服務
- # -p:端口號
- # -m:分類的內存
- # -d:守護進程,后臺運行
- # -u:運行memcached的用戶
- # -l:設置哪些ip可以連接到服務,0.0.0.0:容許外網ip訪問
- /usr/bin/memcached -p 11211 -m 64m -d -u root -l 0.0.0.0
常見的啟動參數包含:
- -d:通過守護進程,在后臺運行
- -m:分配的最大內存,默認大小為 64 M
- -u:運行 Memcached 的用戶
- -l:設置可以訪問 Memecache 服務的 ip 地址,默認只能通過本機訪問;如果想外網進行訪問,需要設置為:0.0.0.0
- -p:設置 Memcached 監聽的端口號,默認為 111211
- -c:最大運行的并發連接數,默認為 1024
接著,開啟防火墻端口
需要注意的是,如果是云服務器,需要在安全組中開放相應端口號
- # 開啟端口號
- firewall-cmd --add-port=11211/tcp --permanent
- # 重啟立即生效
- firewall-cmd --reload
完成以上操作,我們有兩種方式操作數據
分別是:
1、通過 telnet 連接 Memecached 服務,使用命令行去操作
- # 連接
- telnet IP地址 11211
2、通過編程語言,包含:Python、Java、Php,去操作 Memcached 數據
以 Python 為例,需要安裝 python-memcached 依賴
- # 安裝依賴
- pip3 install python-memcached
3. 實戰
在操作 Memcache 中的數據之前,我們需要導入 memcache,使用 Client() 方法指定要操作的 Memecache 服務,構建一個數據連接對象
- def __init__(self):
- # 連接memcached服務,可以包含多個服務ip
- self.mc = memcache.Client(['ip:11211'], debug=True)
接下來我們以新增、查詢、更新、追加、刪除、為例,講講 Python 操作這些數據的方法
1、新增操作
新增操作對應的方法是:add(key,value,timeout)
其中,參數 timeout 表示數據保留的時間,超時會自動被清除掉
需要注意的是,如果準備插入鍵值對中的 key 在原數據集中不存在,則會新增一條記錄到數據集中;否則,會添加失敗,并警告提示
- def __add(self):
- """
- 添加記錄
- :return:
- """
- # 添加一條數據,如果已經存在,會添加失敗,并提出異常
- # time:保存時間,超時會被清除,單位為秒,默認是保存永久
- # 注意:如果添加的key已經存在,會警告:MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'
- self.mc.add("name", "xag", time=60 * 5)
- self.mc.add("age", 23)
2、查詢操作
Memcached 查詢操作分為:
- 通過 Key 去查詢單條記錄
- 通過多個 Key 組成的列表去查詢多條記錄
其中,單條記錄查詢對應的方法是:get(key)
- def __query_one(self, key):
- """
- 查詢單條記錄
- :return:
- """
- result = self.mc.get(key)
- print('單條記錄查詢,key:', key, ",value:", result)
多條記錄的查詢,對應的方法是:get_multi(keys)
- def __query_many(self, keys):
- """
- 查詢多條記錄
- :param keys: 鍵值列表
- :return:
- """
- values = self.mc.get_multi(keys)
- # dict,鍵值對
- print(type(values))
- print('多條記錄查詢:', values)
3、更新操作
更新操作包含三種方法,分別是:
- 更新一條記錄,如果鍵不存在,則更新失敗
對應方法是:replace(key,value)
- 更新一條記錄,如果鍵不存在,則新增一條記錄
對應方法是:set(key,value)
- 更新多條記錄,如果其中有不存在的鍵,則將對應的鍵值對新增到數據集中
對應方法:set_multi({key1:value1...})
具體實例代碼如下:
- def __update_default(self):
- """
- 更新數據,包含:replace、set、set_multi
- :return:
- """
- # 1、使用replace更新一條記錄
- # self.mc.replace("name","xag1")
- # self.__query_one("name")
- # 2、使用set更新記錄,如果key不存在,則添加一條記錄
- # set = replace + add
- # self.mc.set("name", "xag2")
- # self.__query_one("name")
- # 3、使用set_multi更新多條記錄,如果其中有不存在的key,則新建一個鍵值對
- self.mc.set_multi({"name": "xag3", "age": 28})
- self.__query_many(["name", "age"])
4、追加操作
追加操作相當于修改某一個鍵的值,在頭部或者尾部追加數據
其中:
- append(str):在尾部追加一段數據
- prepend(str):在頭部新增一段數據
實踐代碼如下:
- def __update_append(self):
- """
- 追加更新,包含:append、prepend
- :return:
- """
- # 1、append
- # value尾部追加內容
- self.mc.append("name","我是新增的內容")
- self.__query_one("name")
- # 2、prepend
- # 頭部新增內容
- self.mc.prepend("name","頭部新增的內容")
- self.__query_one("name")
5、刪除操作
和查詢操作類似,刪除操作同樣支持單個鍵值對的刪除和多個鍵值對的刪除
- delete(key):刪除某一個鍵值對
- delete_multi(keys):刪除列表中所有的 Key 對應的所有鍵值對
對應的操作代碼如下:
- def __delete(self):
- """
- 刪除數據,包含:delete、delete_multi
- :return:delete_multi
- """
- # 1、delete
- # 刪除單條鍵值對
- # self.mc.delete("age")
- # self.__query_one("age")
- # 2、delete_multi
- # 刪除多條記錄
- keys = ["name","age"]
- self.mc.delete_multi(keys)
- self.__query_many(keys)
4.最后
本篇文章通過 Python,實現了對 Memcached 數據的常規操作,更多復雜的操作可以點擊閱讀原文去查看