Mybatis:PageHelper分頁插件源碼及原理剖析
PageHelper是一款好用的開源免費的Mybatis第三方物理分頁插件,其實我并不想加上好用兩個字,但是為了表揚插件作者開源免費的崇高精神,我毫不猶豫的加上了好用一詞作為贊美。
原本以為分頁插件,應該是很簡單的,然而PageHelper比我想象的要復雜許多,它做的很強大,也很徹底,強大到使用者可能并不需要這么多功能,徹底到一參可以兩用。但是,我認為,作為分頁插件,完成物理分頁任務是根本,其它的很多智能并不是必要的,保持它夠傻夠憨,專業術語叫stupid,簡單就是美。
我們將簡單介紹PageHelper的基本使用和配置參數的含義,重點分析PageHelper作為Mybatis分頁插件的實現原理。
1. PageHelper的maven依賴及插件配置
- <dependency>
- <groupId>com.github.pagehelper</groupId>
- <artifactId>pagehelper</artifactId>
- <version>4.1.6</version>
- </dependency>
PageHelper除了本身的jar包外,它還依賴了一個叫jsqlparser的jar包,使用時,我們不需要單獨指定jsqlparser的maven依賴,maven的間接依賴會幫我們引入。
- <!-- com.github.pagehelper為PageHelper類所在包名 -->
- <plugin interceptor="com.github.pagehelper.PageHelper">
- <property name="dialect" value="mysql" />
- <!-- 該參數默認為false -->
- <!-- 設置為true時,會將RowBounds第一個參數offset當成pageNum頁碼使用 -->
- <!-- 和startPage中的pageNum效果一樣 -->
- <property name="offsetAsPageNum" value="false" />
- <!-- 該參數默認為false -->
- <!-- 設置為true時,使用RowBounds分頁會進行count查詢 -->
- <property name="rowBoundsWithCount" value="true" />
- <!-- 設置為true時,如果pageSize=0或者RowBounds.limit = 0就會查詢出全部的結果 -->
- <!-- (相當于沒有執行分頁查詢,但是返回結果仍然是Page類型) <property name="pageSizeZero" value="true"/> -->
- <!-- 3.3.0版本可用 - 分頁參數合理化,默認false禁用 -->
- <!-- 啟用合理化時,如果pageNum<1會查詢第一頁,如果pageNum>pages會查詢最后一頁 -->
- <!-- 禁用合理化時,如果pageNum<1或pageNum>pages會返回空數據 -->
- <property name="reasonable" value="true" />
- <!-- 3.5.0版本可用 - 為了支持startPage(Object params)方法 -->
- <!-- 增加了一個`params`參數來配置參數映射,用于從Map或ServletRequest中取值 -->
- <!-- 可以配置pageNum,pageSize,count,pageSizeZero,reasonable,不配置映射的用默認值 -->
- <!-- 不理解該含義的前提下,不要隨便復制該配置 <property name="params" value="pageNum=start;pageSize=limit;"/> -->
- </plugin>
上面是PageHelper官方給的配置和注釋,雖然寫的很多,不過確實描述的很明白。
- dialect:標識是哪一種數據庫,設計上必須。
- offsetAsPageNum:將RowBounds第一個參數offset當成pageNum頁碼使用,這就是上面說的一參兩用,個人覺得完全沒必要,offset = pageSize * pageNum就搞定了,何必混用參數呢?
- rowBoundsWithCount:設置為true時,使用RowBounds分頁會進行count查詢,個人覺得完全沒必要,實際開發中,每一個列表分頁查詢,都配備一個count數量查詢即可。
- reasonable:value=true時,pageNum小于1會查詢第一頁,如果pageNum大于pageSize會查詢最后一頁 ,個人認為,參數校驗在進入Mybatis業務體系之前,就應該完成了,不可能到達Mybatis業務體系內參數還帶有非法的值。
這么一來,我們只需要記住 dialect = mysql 一個參數即可,其實,還有下面幾個相關參數可以配置。
- autoDialect:true or false,是否自動檢測dialect。
- autoRuntimeDialect:true or false,多數據源時,是否自動檢測dialect。
- closeConn:true or false,檢測完dialect后,是否關閉Connection連接。
上面這3個智能參數,不到萬不得已,我們不應該在系統中使用,我們只需要一個dialect = mysql 或者 dialect = oracle就夠了,如果系統中需要使用,還是得問問自己,是否真的非用不可。
2. PageHelper源碼分析
- @Intercepts(@Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}))
- public class PageHelper implements Interceptor {
- //sql工具類
- private SqlUtil sqlUtil;
- //屬性參數信息
- private Properties properties;
- //配置對象方式
- private SqlUtilConfig sqlUtilConfig;
- //自動獲取dialect,如果沒有setProperties或setSqlUtilConfig,也可以正常進行
- private boolean autoDialect = true;
- //運行時自動獲取dialect
- private boolean autoRuntimeDialect;
- //多數據源時,獲取jdbcurl后是否關閉數據源
- private boolean closeConn = true;
- //緩存
- private Map<String, SqlUtil> urlSqlUtilMap = new ConcurrentHashMap<String, SqlUtil>();
- private ReentrantLock lock = new ReentrantLock();
- // ...
- }
上面是官方源碼以及源碼所帶的注釋,我們再補充一下。
SqlUtil:數據庫類型專用sql工具類,一個數據庫url對應一個SqlUtil實例,SqlUtil內有一個Parser對象,如果是mysql,它是MysqlParser,如果是oracle,它是OracleParser,這個Parser對象是SqlUtil不同實例的主要存在價值。執行count查詢、設置Parser對象、執行分頁查詢、保存Page分頁對象等功能,均由SqlUtil來完成。
SqlUtilConfig:Spring Boot中使用,忽略。
autoRuntimeDialect:多個數據源切換時,比如mysql和oracle數據源同時存在,就不能簡單指定dialect,這個時候就需要運行時自動檢測當前的dialect。
Map<String, SqlUtil> urlSqlUtilMap:它就用來緩存autoRuntimeDialect自動檢測結果的,key是數據庫的url,value是SqlUtil。由于這種自動檢測只需要執行1次,所以做了緩存。
ReentrantLock lock:這個lock對象是比較有意思的現象,urlSqlUtilMap明明是一個同步ConcurrentHashMap,又搞了一個lock出來同步ConcurrentHashMap做什么呢?是否是畫蛇添足?
在《Java并發編程實戰》一書中有詳細論述,簡單的說,ConcurrentHashMap可以保證put或者remove方法一定是線程安全的,但它不能保證put、get、remove的組合操作是線程安全的,為了保證組合操作也是線程安全的,所以使用了lock。
com.github.pagehelper.PageHelper.java源碼。
- // Mybatis攔截器方法
- public Object intercept(Invocation invocation) throws Throwable {
- if (autoRuntimeDialect) {
- // 多數據源
- SqlUtil sqlUtil = getSqlUtil(invocation);
- return sqlUtil.processPage(invocation);
- } else {
- // 單數據源
- if (autoDialect) {
- initSqlUtil(invocation);
- }
- // 指定了dialect
- return sqlUtil.processPage(invocation);
- }
- }
- public synchronized void initSqlUtil(Invocation invocation) {
- if (this.sqlUtil == null) {
- this.sqlUtil = getSqlUtil(invocation);
- if (!autoRuntimeDialect) {
- properties = null;
- sqlUtilConfig = null;
- }
- autoDialect = false;
- }
- }
- public void setProperties(Properties p) {
- checkVersion();
- //多數據源時,獲取jdbcurl后是否關閉數據源
- String closeConn = p.getProperty("closeConn");
- //解決#97
- if(StringUtil.isNotEmpty(closeConn)){
- this.closeConn = Boolean.parseBoolean(closeConn);
- }
- //初始化SqlUtil的PARAMS
- SqlUtil.setParams(p.getProperty("params"));
- //數據庫方言
- String dialect = p.getProperty("dialect");
- String runtimeDialect = p.getProperty("autoRuntimeDialect");
- if (StringUtil.isNotEmpty(runtimeDialect) && runtimeDialect.equalsIgnoreCase("TRUE")) {
- this.autoRuntimeDialect = true;
- this.autoDialect = false;
- this.properties = p;
- } else if (StringUtil.isEmpty(dialect)) {
- autoDialect = true;
- this.properties = p;
- } else {
- autoDialect = false;
- sqlUtil = new SqlUtil(dialect);
- sqlUtil.setProperties(p);
- }
- }
- public SqlUtil getSqlUtil(Invocation invocation) {
- MappedStatement ms = (MappedStatement) invocation.getArgs()[0];
- //改為對dataSource做緩存
- DataSource dataSource = ms.getConfiguration().getEnvironment().getDataSource();
- String url = getUrl(dataSource);
- if (urlSqlUtilMap.containsKey(url)) {
- return urlSqlUtilMap.get(url);
- }
- try {
- lock.lock();
- if (urlSqlUtilMap.containsKey(url)) {
- return urlSqlUtilMap.get(url);
- }
- if (StringUtil.isEmpty(url)) {
- throw new RuntimeException("無法自動獲取jdbcUrl,請在分頁插件中配置dialect參數!");
- }
- String dialect = Dialect.fromJdbcUrl(url);
- if (dialect == null) {
- throw new RuntimeException("無法自動獲取數據庫類型,請通過dialect參數指定!");
- }
- SqlUtil sqlUtil = new SqlUtil(dialect);
- if (this.properties != null) {
- sqlUtil.setProperties(properties);
- } else if (this.sqlUtilConfig != null) {
- sqlUtil.setSqlUtilConfig(this.sqlUtilConfig);
- }
- urlSqlUtilMap.put(url, sqlUtil);
- return sqlUtil;
- } finally {
- lock.unlock();
- }
- }
- autoRuntimeDialect:多數據源,會創建多個SqlUtil。
- autoDialect:單數據源,只會創建1個SqlUtil。單數據源時,也可以當做多數據源來使用。
- 指定了dialect:只會創建1個SqlUtil。
3. PageSqlSource
- public abstract class PageSqlSource implements SqlSource {
- /**
- * 獲取正常的BoundSql
- *
- * @param parameterObject
- * @return
- */
- protected abstract BoundSql getDefaultBoundSql(Object parameterObject);
- /**
- * 獲取Count查詢的BoundSql
- *
- * @param parameterObject
- * @return
- */
- protected abstract BoundSql getCountBoundSql(Object parameterObject);
- /**
- * 獲取分頁查詢的BoundSql
- *
- * @param parameterObject
- * @return
- */
- protected abstract BoundSql getPageBoundSql(Object parameterObject);
- /**
- * 獲取BoundSql
- *
- * @param parameterObject
- * @return
- */
- @Override
- public BoundSql getBoundSql(Object parameterObject) {
- Boolean count = getCount();
- if (count == null) {
- return getDefaultBoundSql(parameterObject);
- } else if (count) {
- return getCountBoundSql(parameterObject);
- } else {
- return getPageBoundSql(parameterObject);
- }
- }
- }
- getDefaultBoundSql:獲取原始的未經改造的BoundSql。
- getCountBoundSql:不需要寫count查詢,插件根據分頁查詢sql,智能的為你生成的count查詢BoundSql。
- getPageBoundSql:獲取分頁查詢的BoundSql。
舉例:
DefaultBoundSql:
- select stud_id as studId , name, email, dob, phone from students
CountBoundSql:
- select count(0) from students --由PageHelper智能完成
PageBoundSql:
- select stud_id as studId , name, email, dob, phone from students limit ?, ?
- public class PageStaticSqlSource extends PageSqlSource {
- private String sql;
- private List<ParameterMapping> parameterMappings;
- private Configuration configuration;
- private SqlSource original;
- @Override
- protected BoundSql getDefaultBoundSql(Object parameterObject) {
- String tempSql = sql;
- String orderBy = PageHelper.getOrderBy();
- if (orderBy != null) {
- tempSql = OrderByParser.converToOrderBySql(sql, orderBy);
- }
- return new BoundSql(configuration, tempSql, parameterMappings, parameterObject);
- }
- @Override
- protected BoundSql getCountBoundSql(Object parameterObject) {
- // localParser指的就是MysqlParser或者OracleParser
- // localParser.get().getCountSql(sql),可以根據原始的sql,生成一個count查詢的sql
- return new BoundSql(configuration, localParser.get().getCountSql(sql), parameterMappings, parameterObject);
- }
- @Override
- protected BoundSql getPageBoundSql(Object parameterObject) {
- String tempSql = sql;
- String orderBy = PageHelper.getOrderBy();
- if (orderBy != null) {
- tempSql = OrderByParser.converToOrderBySql(sql, orderBy);
- }
- // getPageSql可以根據原始的sql,生成一個帶有分頁參數信息的sql,比如 limit ?, ?
- tempSql = localParser.get().getPageSql(tempSql);
- // 由于sql增加了分頁參數的?號占位符,getPageParameterMapping()就是在原有List<ParameterMapping>基礎上,增加兩個分頁參數對應的ParameterMapping對象,為分頁參數賦值使用
- return new BoundSql(configuration, tempSql, localParser.get().getPageParameterMapping(configuration, original.getBoundSql(parameterObject)), parameterObject);
- }
- }
假設List<ParameterMapping>原來的size=2,添加分頁參數后,其size=4,具體增加多少個,看分頁參數的?號數量。
其他PageSqlSource,原理和PageStaticSqlSource一模一樣。
解析sql,并增加分頁參數占位符,或者生成count查詢的sql,都依靠Parser來完成。
4. com.github.pagehelper.parser.Parser
- public class MysqlParser extends AbstractParser {
- @Override
- public String getPageSql(String sql) {
- StringBuilder sqlBuilder = new StringBuilder(sql.length() + 14);
- sqlBuilder.append(sql);
- sqlBuilder.append(" limit ?,?");
- return sqlBuilder.toString();
- }
- @Override
- public Map<String, Object> setPageParameter(MappedStatement ms, Object parameterObject, BoundSql boundSql, Page<?> page) {
- Map<String, Object> paramMap = super.setPageParameter(ms, parameterObject, boundSql, page);
- paramMap.put(PAGEPARAMETER_FIRST, page.getStartRow());
- paramMap.put(PAGEPARAMETER_SECOND, page.getPageSize());
- return paramMap;
- }
- }
我們可以清楚的看到,MysqlParser是如何添加分頁占位符和分頁參數的。
- public abstract class AbstractParser implements Parser, Constant {
- public String getCountSql(final String sql) {
- return sqlParser.getSmartCountSql(sql);
- }
- }
生成count sql,則是前文提到的jsqlparser工具包來完成的,是另外一個開源的sql解析工具包。
5. SqlUtil.doProcessPage()分頁查詢
- // PageSqlSource裝飾原SqlSource
- public void processMappedStatement(MappedStatement ms) throws Throwable {
- SqlSource sqlSource = ms.getSqlSource();
- MetaObject msObject = SystemMetaObject.forObject(ms);
- SqlSource pageSqlSource;
- if (sqlSource instanceof StaticSqlSource) {
- pageSqlSource = new PageStaticSqlSource((StaticSqlSource) sqlSource);
- } else if (sqlSource instanceof RawSqlSource) {
- pageSqlSource = new PageRawSqlSource((RawSqlSource) sqlSource);
- } else if (sqlSource instanceof ProviderSqlSource) {
- pageSqlSource = new PageProviderSqlSource((ProviderSqlSource) sqlSource);
- } else if (sqlSource instanceof DynamicSqlSource) {
- pageSqlSource = new PageDynamicSqlSource((DynamicSqlSource) sqlSource);
- } else {
- throw new RuntimeException("無法處理該類型[" + sqlSource.getClass() + "]的SqlSource");
- }
- msObject.setValue("sqlSource", pageSqlSource);
- //由于count查詢需要修改返回值,因此這里要創建一個Count查詢的MS
- msCountMap.put(ms.getId(), MSUtils.newCountMappedStatement(ms));
- }
- // 執行分頁查詢
- private Page doProcessPage(Invocation invocation, Page page, Object[] args) throws Throwable {
- //保存RowBounds狀態
- RowBounds rowBounds = (RowBounds) args[2];
- //獲取原始的ms
- MappedStatement ms = (MappedStatement) args[0];
- //判斷并處理為PageSqlSource
- if (!isPageSqlSource(ms)) {
- processMappedStatement(ms);
- }
- //設置當前的parser,后面每次使用前都會set,ThreadLocal的值不會產生不良影響
- ((PageSqlSource)ms.getSqlSource()).setParser(parser);
- try {
- //忽略RowBounds-否則會進行Mybatis自帶的內存分頁
- args[2] = RowBounds.DEFAULT;
- //如果只進行排序 或 pageSizeZero的判斷
- if (isQueryOnly(page)) {
- return doQueryOnly(page, invocation);
- }
- //簡單的通過total的值來判斷是否進行count查詢
- if (page.isCount()) {
- page.setCountSignal(Boolean.TRUE);
- //替換MS
- args[0] = msCountMap.get(ms.getId());
- //查詢總數
- Object result = invocation.proceed();
- //還原ms
- args[0] = ms;
- //設置總數
- page.setTotal((Integer) ((List) result).get(0));
- if (page.getTotal() == 0) {
- return page;
- }
- } else {
- page.setTotal(-1l);
- }
- //pageSize>0的時候執行分頁查詢,pageSize<=0的時候不執行相當于可能只返回了一個count
- if (page.getPageSize() > 0 &&
- ((rowBounds == RowBounds.DEFAULT && page.getPageNum() > 0)
- || rowBounds != RowBounds.DEFAULT)) {
- //將參數中的MappedStatement替換為新的qs
- page.setCountSignal(null);
- BoundSql boundSql = ms.getBoundSql(args[1]);
- args[1] = parser.setPageParameter(ms, args[1], boundSql, page);
- page.setCountSignal(Boolean.FALSE);
- //執行分頁查詢
- Object result = invocation.proceed();
- //得到處理結果
- page.addAll((List) result);
- }
- } finally {
- ((PageSqlSource)ms.getSqlSource()).removeParser();
- }
- //返回結果
- return page;
- }
源碼中注意關鍵的四點即可:
1、msCountMap.put(ms.getId(), MSUtils.newCountMappedStatement(ms)),創建count查詢的MappedStatement對象,并緩存于msCountMap。
2、如果count=true,則執行count查詢,結果total值保存于page對象中,繼續執行分頁查詢。
3、執行分頁查詢,將查詢結果保存于page對象中,page是一個ArrayList對象。
4、args[2] = RowBounds.DEFAULT,改變Mybatis原有分頁行為;
args[1] = parser.setPageParameter(ms, args[1], boundSql, page),改變原有參數列表(增加分頁參數)。
6. PageHelper的兩種使用方式
第一種、直接通過RowBounds參數完成分頁查詢 。
- List<Student> list = studentMapper.find(new RowBounds(0, 10));
- Page page = ((Page) list;
第二種、PageHelper.startPage()靜態方法
- //獲取第1頁,10條內容,默認查詢總數count
- PageHelper.startPage(1, 10);
- //緊跟著的第一個select方法會被分頁
- List<Country> list = studentMapper.find();
- Page page = ((Page) list;
注:返回結果list,已經是Page對象,Page對象是一個ArrayList。
原理:使用ThreadLocal來傳遞和保存Page對象,每次查詢,都需要單獨設置PageHelper.startPage()方法。
- public class SqlUtil implements Constant {
- private static final ThreadLocal<Page> LOCAL_PAGE = new ThreadLocal<Page>();
- }
本文中經常提到的count查詢,其實是PageHelper幫助我們生成的一個MappedStatement內存對象,它可以免去我們在XXXMapper.xml內單獨聲明一個sql count查詢,我們只需要寫一個sql分頁業務查詢即可。