Ehcache、Memcache、Redis三大緩存比較
最近項目組有用到這三個緩存，去各自的官方看了下,覺得還真的各有千秋!今天特意歸納下各個緩存的優缺點，僅供參考!
Ehcache
在Java項目廣泛的使用。它是一個開源的、設計于提高在數據從RDBMS中取出來的高花費、高延遲采取的一種緩存方案。正因為Ehcache具有健壯性(基于java開發)、被認證(具有apache 2.0 license)、充滿特色(稍后會詳細介紹)，所以被用于大型復雜分布式web application的各個節點中。
什么特色?
1. 夠快
Ehcache的發行有一段時長了，經過幾年的努力和不計其數的性能測試，Ehcache終被設計于large, high concurrency systems.
2. 夠簡單
開發者提供的接口非常簡單明了，從Ehcache的搭建到運用運行僅僅需要的是你寶貴的幾分鐘。其實很多開發者都不知道自己用在用Ehcache，Ehcache被廣泛的運用于其他的開源項目
比如：hibernate
3.夠袖珍
關于這點的特性，官方給了一個很可愛的名字small foot print ，一般Ehcache的發布版本不會到2M，V 2.2.3 才 668KB。
4. 夠輕量
核心程序僅僅依賴slf4j這一個包，沒有之一!
5.好擴展
Ehcache提供了對大數據的內存和硬盤的存儲，最近版本允許多實例、保存對象高靈活性、提供LRU、LFU、FIFO淘汰算法，基礎屬性支持熱配置、支持的插件多
6.監聽器
緩存管理器監聽器 (CacheManagerListener)和 緩存監聽器(CacheEvenListener),做一些統計或數據一致性廣播挺好用的
如何使用?
夠簡單就是Ehcache的一大特色，自然用起來just so easy!
貼一段基本使用代碼
CacheManager manager = CacheManager.newInstance("src/config/ehcache.xml");
Ehcache cache = new Cache("testCache", 5000, false, false, 5, 2);
cacheManager.addCache(cache);
- name:緩存名稱。
- maxElementsInMemory：緩存***個數。
- eternal:對象是否***有效，一但設置了，timeout將不起作用。
- timeToIdleSeconds：設置對象在失效前的允許閑置時間(單位：秒)。僅當eternal=false對象不是***有效時使用，可選屬性，默認值是0，也就是可閑置時間無窮大。
- timeToLiveSeconds：設置對象在失效前允許存活時間,***時間介于創建時間和失效時間之間。僅當eternal=false對象不是***有效時使用，默認是0.，也就是對象存活時 間無窮大。
- overflowToDisk：當內存中對象數量達到maxElementsInMemory時，Ehcache將會對象寫到磁盤中。
- diskSpoolBufferSizeMB：這個參數設置DiskStore(磁盤緩存)的緩存區大小。默認是30MB。每個Cache都應該有自己的一個緩沖區。
- maxElementsOnDisk：硬盤***緩存個數。
- diskPersistent： 是否緩存虛擬機重啟期數 據 Whether the disk store persists between restarts of the Virtual Machine. The default value is false.
- diskExpiryThreadIntervalSeconds：磁盤失效線程運行時間間隔，默認是120秒。
- memoryStoreEvictionPolicy：當達到maxElementsInMemory限制時，Ehcache將會根據指定的策略去清理內存。默認策略是LRU。你可以設置為 FIFO或是LFU。
- clearOnFlush：內存數量***時是否清除。
memcache
memcache 是一種高性能、分布式對象緩存系統，最初設計于緩解動態網站數據庫加載數據的延遲性，你可以把它想象成一個大的內存HashTable，就是一個key-value鍵值緩存。Danga Interactive為了LiveJournal所發展的，以BSD license釋放的一套開放源代碼軟件。
1.依賴
memcache C語言所編寫，依賴于最近版本的GCC和libevent。GCC是它的編譯器，同事基于libevent做socket io。在安裝memcache時保證你的系統同事具備有這兩個環境。
2.多線程支持
memcache支持多個cpu同時工作，在memcache安裝文件下有個叫threads.txt中特別說明，By default, memcached is compiled as a single-threaded application.默認是單線程編譯安裝，如果你需要多線程則需要修改./configure --enable-threads，為了支持多核系統，前提是你的系統必須具有多線程工作模式。開啟多線程工作的線程數默認是4，如果線程數超過cpu數 容易發生操作死鎖的概率。結合自己業務模式選擇才能做到物盡其用。
3.高性能
通過libevent完成socket 的通訊，理論上性能的瓶頸落在網卡上。
簡單安裝：
1.分別把memcached和libevent下載回來，放到 /tmp 目錄下：
- # cd /tmp
- # wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz
- # wget http://www.monkey.org/~provos/libevent-1.2.tar.gz
2.先安裝libevent：
- # tar zxvf libevent-1.2.tar.gz
- # cd libevent-1.2
- # ./configure -prefix=/usr
- # make （如果遇到提示gcc 沒有安裝則先安裝gcc)
- # make install
3.測試libevent是否安裝成功：
- # ls -al /usr/lib | grep libevent
- lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3
- -rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3
- -rw-r-r- 1 root root 454156 11?? 12 17:38 libevent.a
- -rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la
- lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3
還不錯，都安裝上了。
4.安裝memcached，同時需要安裝中指定libevent的安裝位置：
- # cd /tmp
- # tar zxvf memcached-1.2.0.tar.gz
- # cd memcached-1.2.0
- # ./configure -with-libevent=/usr
- # make
- # make install
如果中間出現報錯，請仔細檢查錯誤信息，按照錯誤信息來配置或者增加相應的庫或者路徑。
安裝完成后會把memcached放到 /usr/local/bin/memcached ，
5.測試是否成功安裝memcached：
- # ls -al /usr/local/bin/mem*
- -rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached
- -rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug
啟動memcache服務
啟動Memcached服務：
1.啟動Memcache的服務器端：
- # /usr/local/bin/memcached -d -m 8096 -u root -l 192.168.77.105 -p 12000 -c 256 -P /tmp/memcached.pid
- -d選項是啟動一個守護進程，
- -m是分配給Memcache使用的內存數量，單位是MB，我這里是8096MB，
- -u是運行Memcache的用戶，我這里是root，
- -l是監聽的服務器IP地址，如果有多個地址的話，我這里指定了服務器的IP地址192.168.77.105，
- -p是設置Memcache監聽的端口，我這里設置了12000，***是1024以上的端口，
- -c選項是***運行的并發連接數，默認是1024，我這里設置了256，按照你服務器的負載量來設定，
- -P是設置保存Memcache的pid文件，我這里是保存在 /tmp/memcached.pid，
2.如果要結束Memcache進程，執行：
# cat /tmp/memcached.pid 或者 ps -aux | grep memcache (找到對應的進程id號)
# kill 進程id號
也可以啟動多個守護進程，不過端口不能重復。
memcache 的連接
telnet ip port
注意連接之前需要再memcache服務端把memcache的防火墻規則加上
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT
重新加載防火墻規則
service iptables restart
OK ,現在應該就可以連上memcache了
在客戶端輸入stats 查看memcache的狀態信息
- pid memcache服務器的進程ID
- uptime 服務器已經運行的秒數
- time 服務器當前的unix時間戳
- version memcache版本
- pointer_size 當前操作系統的指針大小(32位系統一般是32bit)
- rusage_user 進程的累計用戶時間
- rusage_system 進程的累計系統時間
- curr_items 服務器當前存儲的items數量
- total_items 從服務器啟動以后存儲的items總數量
- bytes 當前服務器存儲items占用的字節數
- curr_connections 當前打開著的連接數
- total_connections 從服務器啟動以后曾經打開過的連接數
- connection_structures 服務器分配的連接構造數
- cmd_get get命令 (獲取)總請求次數
- cmd_set set命令 (保存)總請求次數
- get_hits 總***次數
- get_misses 總未***次數
- evictions 為獲取空閑內存而刪除的items數(分配給memcache的空間用滿后需要刪除舊的items來得到空間分配給新的items)
- bytes_read 讀取字節數(請求字節數)
- bytes_written 總發送字節數(結果字節數)
- limit_maxbytes 分配給memcache的內存大小(字節)
- threads 當前線程數
redis
Redis是 在memcache之后編寫的，大家經常把這兩者做比較，如果說它是個key-value store 的話但是它具有豐富的數據類型，我想暫時把它叫做緩存數據流中心，就像現在物流中心那樣，order、package、store、 classification、distribute、end。現在還很流行的LAMP PHP架構 不知道和 redis+MySQL 或者 redis + MongoDB的性能比較(聽群里的人說mongodb分片不穩定)。
先說說reidis的特性
1. 支持持久化
redis的本地持久化支持兩種方式：RDB和AOF。RDB 在redis.conf配置文件里配置持久化觸發器，AOF指的是redis沒增加一條記錄都會保存到持久化文件中(保存的是這條記錄的生成命令)，如果 不是用redis做DB用的話還會不要開AOF ，數據太龐大了，重啟恢復的時候是一個巨大的工程!
2.豐富的數據類型
redis 支持 String 、Lists、sets、sorted sets、hashes 多種數據類型,新浪微博會使用redis做nosql主要也是它具有這些類型，時間排序、職能排序、我的微博、發給我的這些功能List 和 sorted set
的強大操作功能息息相關
3.高性能
這點跟memcache很想象，內存操作的級別是毫秒級的比硬盤操作秒級操作自然高效不少，較少了磁頭尋道、數據讀取、頁面交換這些高開銷的操作!這也是NOSQL冒出來的原因吧，應該是高性能
是基于RDBMS的衍生產品，雖然RDBMS也具有緩存結構，但是始終在app層面不是我們想要的那么操控的。
4.replication
redis提供主從復制方案，跟mysql一樣增量復制而且復制的實現都很相似，這個復制跟AOF有點類似復制的是新增記錄命令，主庫新增記錄將新增腳本 發送給從庫，從庫根據腳本生成記錄，這個過程非常快，就看網絡了，一般主從都是在同一個局域網，所以可以說redis的主從近似及時同步，同事它還支持一 主多從，動態添加從庫，從庫數量沒有限制。 主從庫搭建，我覺得還是采用網狀模式，如果使用鏈式(master-slave-slave-slave-slave·····)如果***個slave出 現宕機重啟，首先從master 接收 數據恢復腳本，這個是阻塞的，如果主庫數據幾TB的情況恢復過程得花上一段時間，在這個過程中其他的slave就無法和主庫同步了。
5.更新快
這點好像從我接觸到redis到目前為止 已經發了大版本就4個，小版本沒算過。redis作者是個非常積極的人，無論是郵件提問還是論壇發帖，他都能及時耐心的為你解答，維護度很高。有人維護的 話，讓我們用的也省心和放心。目前作者對redis 的主導開發方向是redis的集群方向。
redis的安裝
redis的安裝其實還是挺簡單的，總的來說就三步：下載tar包，解壓tar包，安裝。
不過最近我在2.6.7后用centos 5.5 32bit 時碰到一個安裝問題，下面我就用圖片分享下安裝過程碰到的問題，在redis 文件夾內執行make時有個如下的錯 undefined reference to '__sync_add_and_fetch_4'
上網找了了好多***在 https://github.com/antirez/redis/issues/736 找到解決方案，write CFLAGS= -march=i686 on src/Makefile head!
記得要把剛安裝失敗的文件刪除，重新解壓新的安裝文件，修改Makefile文件，再make安裝。就不會發現原來那個錯誤了
關于redis的一些屬性注釋和基本類型操作在上一篇redis 的開胃菜有詳細的說明，這里就不再重復累贅了(實質是想偷懶 ，哈哈!)
***，把memcache和redis放在一起不得不會讓人想到兩者的比較，誰快誰好用啊，群里面已經為這個事打架很久了，我就把我看到的在這里跟大家分享下。
在別人發了一個memcache性能比redis好很多后，redis 作者 antirez 發表了一篇博文，主要是說到如何給redis 和 memcache 做壓力測試，文中講到有個人說許多開源軟件都應該丟進廁所，因為他們的壓力測試腳本太2了，作者對這個說明了一番。redis vs memcache is definitely an apple to apple comparison。 呵呵，很明確吧，兩者的比較是不是有點雞蛋挑骨頭的效果，作者在相同的運行環境做了三次測試取多好的值，得到的結果如下圖:
需要申明的是此次測試在單核心處理的過程的數據，memcache是支持多核心多線程操作的(默認沒開)所以在默認情況下上圖具有參考意義，若然則 memcache快于redis。那為什么redis不支持多線程多核心處理呢?作者也發表了一下自己的看法，首先是多線程不變于bug的修復，其實是不 易軟件的擴展，還有數據一致性問題因為redis所有的操作都是原子操作，作者用到一個詞nightmare 噩夢，呵呵! 當然不支持多線程操作，肯定也有他的弊端的比如性能想必必然差，作者從2.2版本后專注redis cluster的方向開發來緩解其性能上的弊端，說白了就是縱向不行，橫向提高。
應用場景：
ehcache直接在jvm虛擬機中緩存，速度快，效率高;但是緩存共享麻煩，集群分布式應用不方便。
redis是通過socket訪問到緩存服務，效率比ecache低，比數據庫要快很多，處理集群和分布式緩存方便，有成熟的方案。
如果是單個應用或者對緩存訪問要求很高的應用，用ehcache。
如果是大型系統，存在緩存共享、分布式部署、緩存內容很大的，建議用redis。
補充下：ehcache也有緩存共享方案，不過是通過RMI或者Jgroup多播方式進行廣播緩存通知更新，緩存共享復雜，維護不方便;簡單的共享可以，但是涉及到緩存恢復，大數據緩存，則不合適redis和memcached相比的獨特之處：
1、redis可以用來做存儲(storage),而memcached是用來做緩存(cache)這個特點主要因為其有持久化功能
2、redis中存儲的數據有多種結構，而memcached存儲的數據只有一種類型“字符串”
第二種理解:
***：兩者之間的介紹
Redis：屬于獨立的運行程序，需要單獨安裝后，使用JAVA中的Jedis來操縱。因為它是獨立，所以如果你寫個單元測試程序，放一些數據在Redis中，然后又寫一個程序去拿數據，那么是可以拿到這個數據的。，
ehcache：與Redis明顯不同，它與java程序是綁在一起的，java程序活著，它就活著。譬如，寫一個獨立程序放數據，再寫一個獨立程序拿數據，那么是拿不到數據的。只能在獨立程序中才能拿到數據。
第二：使用及各種配置：
兩者都可以集群：
1.Redis可以做主從來集群，例如，在A電腦上裝個Redis，作為主庫;在其他電腦上裝Redis，作為從庫;這樣主庫擁有讀和寫的功能，而從庫只擁有讀的功能。每次主庫的數據都會同步到從庫中。
1.默認方式啟動
- Linux下使用Redis
- 安裝：從官網上下載tar.gz格式的包，然后使用tar zxvf redis-2.8.24.tar.gz命令解壓，然后進入Redis文件夾目錄下的src目錄，使用make編譯一下
- 1.開啟：進入/usr/local/redis-3.2.1/src
- 然后./redis-server
2.如果我們想修改端口，設置密碼：那么得修改配置文件的redis.conf
port 6379 //端口修改
requirepass redis123 //設置密碼 redis123為密碼
配置主從：主庫的配置文件不用修改，從庫的配置文件需要修改，因為從庫需要綁定主庫，以便可以獲取主庫的數據
slaveof 192.168.1.100 6379 //主庫的IP地址和端口號
masterauth redis123 //主庫設定的密碼
3.要讓配置文件的屬性生效，那么啟動的redis的時候，要將配置文件加上去
進入/usr/local/redis-3.2.1/src
然后 ./redis-server redis.conf
那么將成功的啟動redis，如果沒有加入配置的話，按照普通方式啟動的話，端口仍然還是6379.
4.客戶端連接遠程的Redis
***步：在遠程端處設置密碼：config set requirepass 123 //123為密碼
第二步：可以在客戶端登錄 redis-cli.exe -h 114.215.125.42 -p 6379
第三步：認證：auth 123 //123為密碼
本地端設置密碼后，要使用密碼登錄;如果Redis重啟的話，密碼需要重新設置
5.主從配置后，為保證主庫寫的能力，一般不在主庫做持久化，而是在從庫做持久化：
主庫配置：
將save注釋，不使用rdb
# save 900 1
# save 300 10
# save 60 10000
appendonly no 不使用aof
從庫配置：
save 900 1
save 300 10
save 60 10000
appendonly yes
這樣做的優缺點：
優點：保證了主庫寫的能力。
缺點：主庫掛掉后，重啟主庫，然后進行***次寫的動作后，主庫會先生成rdb文件，然后傳輸給從庫，從而覆蓋掉從庫原先的rdb文件，造成數據丟失。但是第二次寫的時候，主庫會以快照方式直接傳數據給從庫，不會重新生成rdb文件。
解決方案：先復制從庫中的數據到主庫后，再啟動主庫。
使用：
引入jedis包
- <dependency>
- <groupId>redis.clients</groupId>
- <artifactId>jedis</artifactId>
- <version>2.7.3</version>
- </dependency>
簡單的寫個類玩玩吧
- public class RedisMain {
- public static void main(String [] str)
- {
- Jedis jedis = new Jedis("114.215.125.42",6379);
- jedis.auth("123"); //密碼認證
- System.out.println("Connection to server sucessfully");
- //查看服務是否運行
- jedis.set("user","namess");
- // System.out.println("Server is running: "+jedis.ping());
- System.out.println(jedis.get("user").toString());
- jedis.set("user","name");
- System.out.println(jedis.get("user"));
- }
- }
Redis完畢
下面說說Ehcache:
Ehcache的使用：
1.首先引入包
- <dependency>
- <groupId>net.sf.ehcache</groupId>
- <artifactId>ehcache-core</artifactId>
- <version>2.6.6</version>
- </dependency>
- <dependency>
- <groupId>org.slf4j</groupId>
- <artifactId>slf4j-log4j12</artifactId>
- <version>1.6.6</version>
- </dependency>
2.創建一個ehcache.xml文件，里面配置cache的信息，這個配置是包含了集群的配置：與192.168.93.129：40001的 機器集群了：Ip為192.168.93.129機子的配置要將rmiUrls對應的數據改為這個配置文件的機子的IP地址，和對應的緩存名字
- <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xsi:noNamespaceSchemaLocation="ehcache.xsd">
- <cacheManagerPeerProviderFactory
- class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
- properties="peerDiscovery=manual,rmiUrls=//192.168.93.129:40001/demoCache"/> <!--另一臺機子的ip緩存信息-->
- <cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory"
- properties="hostName=localhost,port=40001,socketTimeoutMillis=2000" /> <!--hostName代表本機子的ip-->
- <diskStore path="java.io.tmpdir"/>
- <defaultCache
- maxElementsInMemory="10000"
- maxElementsOnDisk="0"
- eternal="true"
- overflowToDisk="true"
- diskPersistent="false"
- timeToIdleSeconds="0"
- timeToLiveSeconds="0"
- diskSpoolBufferSizeMB="50"
- diskExpiryThreadIntervalSeconds="120"
- memoryStoreEvictionPolicy="LFU"
- >
- <cacheEventListenerFactory
- class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>
- </defaultCache>
- <cache name="demoCache"
- maxElementsInMemory="100"
- maxElementsOnDisk="0"
- eternal="false"
- overflowToDisk="false"
- diskPersistent="false"
- timeToIdleSeconds="119"
- timeToLiveSeconds="119"
- diskSpoolBufferSizeMB="50"
- diskExpiryThreadIntervalSeconds="120"
- memoryStoreEvictionPolicy="FIFO"
- >
- <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/> <!--監聽這個cache-->
- </cache>
- </ehcache>
配置完后寫代碼：
放數據：
- @RequestMapping("/testehcache.do")
- public void testehcache(HttpServletResponse response) throws IOException
- {
- URL url = getClass().getResource("ehcache.xml");
- CacheManager singletonmanager = CacheManager.create(url);
- Cache cache = singletonmanager.getCache("demoCache");
- //使用緩存
- Element element = new Element("key1", "value1");
- cache.put(element);
- cache.put(new Element("key2", "value2"));
- response.getWriter().println("我存放了數據");
- }
拿數據：
- @RequestMapping("/getcache.do")
- public void getcache(HttpServletResponse response) throws IOException
- {
- CacheManager singletonmanager = CacheManager.create();
- Cache cache = singletonmanager.getCache("demoCache");
- String one=cache.get("key1").getObjectValue().toString();
- String two=cache.get("key2").getObjectValue().toString();
- response.getWriter().println(one+two);
- }
配置集群后，A機器放數據，在B機器上能拿到數據，B機器放數據，A機器也可以拿到數據
