聊聊 SpringBoot 多數(shù)據(jù)源配置

作者：江南一點(diǎn)雨 2024-10-30 10:22:17

AbstractRoutingDataSource 是在 Spring2.0.1 中引入的（注意是 Spring2.0.1 不是 Spring Boot2.0.1，所以這其實(shí)也算是 Spring 一個(gè)非常古老的特性了）, 該類充當(dāng)了 DataSource 的路由中介，它能夠在運(yùn)行時(shí), 根據(jù)某種 key 值來動(dòng)態(tài)切換到真正的 DataSource 上。

一預(yù)備知識(shí)

想要自定義動(dòng)態(tài)數(shù)據(jù)源切換，得先了解一個(gè)類 AbstractRoutingDataSource：

大致的用法就是你提前準(zhǔn)備好各種數(shù)據(jù)源，存入到一個(gè) Map 中，Map 的 key 就是這個(gè)數(shù)據(jù)源的名字，Map 的 value 就是這個(gè)具體的數(shù)據(jù)源，然后再把這個(gè) Map 配置到 AbstractRoutingDataSource 中，最后，每次執(zhí)行數(shù)據(jù)庫(kù)查詢的時(shí)候，拿一個(gè) key 出來，AbstractRoutingDataSource 會(huì)找到具體的數(shù)據(jù)源去執(zhí)行這次數(shù)據(jù)庫(kù)操作。

大致思路就是這樣。

接下來我們就來看看怎么玩。

二創(chuàng)建項(xiàng)目

首先我們創(chuàng)建一個(gè) Spring Boot 項(xiàng)目，引入 Web、MyBatis 以及 MySQL 依賴，項(xiàng)目創(chuàng)建成功之后，再手動(dòng)加入 Druid 和 AOP 依賴，如下：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.2.9</version>
</dependency>

這塊呢其實(shí)沒啥好說的，都是常規(guī)操作。

三配置文件

接下來我們創(chuàng)建一個(gè) application-druid.yaml 用來配置我們的數(shù)據(jù)源信息，如下：

# 數(shù)據(jù)源配置
spring:
    datasource:
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        ds:
            # 主庫(kù)數(shù)據(jù)源，默認(rèn) master 不能變
            master:
                url: jdbc:mysql://127.0.0.1:3306/test08?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=Asia/Shanghai
                username: root
                password: 123
            # 從庫(kù)數(shù)據(jù)源
            slave:
                url: jdbc:mysql://127.0.0.1:3306/test07?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=Asia/Shanghai
                username: root
                password: 123
        # 初始連接數(shù)
        initialSize: 5
        # 最小連接池?cái)?shù)量
        minIdle: 10
        # 最大連接池?cái)?shù)量
        maxActive: 20
        # 配置獲取連接等待超時(shí)的時(shí)間
        maxWait: 60000
        # 配置間隔多久才進(jìn)行一次檢測(cè)，檢測(cè)需要關(guān)閉的空閑連接，單位是毫秒
        timeBetweenEvictionRunsMillis: 60000
        # 配置一個(gè)連接在池中最小生存的時(shí)間，單位是毫秒
        minEvictableIdleTimeMillis: 300000
        # 配置一個(gè)連接在池中最大生存的時(shí)間，單位是毫秒
        maxEvictableIdleTimeMillis: 900000
        # 配置檢測(cè)連接是否有效
        validationQuery: SELECT 1 FROM DUAL
        testWhileIdle: true
        testOnBorrow: false
        testOnReturn: false
        druid:
            webStatFilter:
                enabled: true
            statViewServlet:
                enabled: true
                # 設(shè)置白名單，不填則允許所有訪問
                allow:
                url-pattern: /druid/*
                # 控制臺(tái)管理用戶名和密碼
                login-username: javaboy
                login-password: 123456
            filter:
                stat:
                    enabled: true
                    # 慢SQL記錄
                    log-slow-sql: true
                    slow-sql-millis: 1000
                    merge-sql: true
                wall:
                    config:
                        multi-statement-allow: true

都是 Druid 的常規(guī)配置，也沒啥好說的，唯一需要注意的是我們整個(gè)配置文件的格式。ds 里邊配置我們的所有數(shù)據(jù)源，每個(gè)數(shù)據(jù)源都有一個(gè)名字，master 是默認(rèn)數(shù)據(jù)源的名字，不可修改，其他數(shù)據(jù)源都可以自定義名字。最后面我們還配置了 Druid 的監(jiān)控功能，如果小伙伴們還不懂 Druid 的監(jiān)控功能，可以查看Spring Boot 如何監(jiān)控 SQL 運(yùn)行情況？。

不過小伙伴們知道，YAML 配置不像 properties 配置可以通過 @PropertySource 注解加載自定義的配置文件，YAML 配置沒有類似的加載機(jī)制。不過工具是死的人是活的，我們可以利用 Spring Boot 的 profile 機(jī)制來加載這個(gè)自定義的 application-druid.yaml 配置文件，具體做法就是在 application.yaml 中加一行配置，如下：

spring:
  profiles:
    active: druid

接下來我們還需要提供一個(gè)配置類，將這個(gè)配置文件的內(nèi)容加載到配置類中，如下：

@ConfigurationProperties(prefix = "spring.datasource")
public class DruidProperties {
    private int initialSize;

    private int minIdle;

    private int maxActive;

    private int maxWait;

    private int timeBetweenEvictionRunsMillis;

    private int minEvictableIdleTimeMillis;

    private int maxEvictableIdleTimeMillis;

    private String validationQuery;

    private boolean testWhileIdle;

    private boolean testOnBorrow;

    private boolean testOnReturn;

    private Map<String, Map<String, String>> ds;

    public DruidDataSource dataSource(DruidDataSource datasource) {
        /** 配置初始化大小、最小、最大 */
        datasource.setInitialSize(initialSize);
        datasource.setMaxActive(maxActive);
        datasource.setMinIdle(minIdle);

        /** 配置獲取連接等待超時(shí)的時(shí)間 */
        datasource.setMaxWait(maxWait);

        /** 配置間隔多久才進(jìn)行一次檢測(cè)，檢測(cè)需要關(guān)閉的空閑連接，單位是毫秒 */
        datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);

        /** 配置一個(gè)連接在池中最小、最大生存的時(shí)間，單位是毫秒 */
        datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
        datasource.setMaxEvictableIdleTimeMillis(maxEvictableIdleTimeMillis);

        /**
         * 用來檢測(cè)連接是否有效的sql，要求是一個(gè)查詢語(yǔ)句，常用select 'x'。如果validationQuery為null，testOnBorrow、testOnReturn、testWhileIdle都不會(huì)起作用。
         */
        datasource.setValidationQuery(validationQuery);
        /** 建議配置為true，不影響性能，并且保證安全性。申請(qǐng)連接的時(shí)候檢測(cè)，如果空閑時(shí)間大于timeBetweenEvictionRunsMillis，執(zhí)行validationQuery檢測(cè)連接是否有效。 */
        datasource.setTestWhileIdle(testWhileIdle);
        /** 申請(qǐng)連接時(shí)執(zhí)行validationQuery檢測(cè)連接是否有效，做了這個(gè)配置會(huì)降低性能。 */
        datasource.setTestOnBorrow(testOnBorrow);
        /** 歸還連接時(shí)執(zhí)行validationQuery檢測(cè)連接是否有效，做了這個(gè)配置會(huì)降低性能。 */
        datasource.setTestOnReturn(testOnReturn);
        return datasource;
    }

    public int getInitialSize() {
        return initialSize;
    }

    public void setInitialSize(int initialSize) {
        this.initialSize = initialSize;
    }

    public int getMinIdle() {
        return minIdle;
    }

    public void setMinIdle(int minIdle) {
        this.minIdle = minIdle;
    }

    public int getMaxActive() {
        return maxActive;
    }

    public void setMaxActive(int maxActive) {
        this.maxActive = maxActive;
    }

    public int getMaxWait() {
        return maxWait;
    }

    public void setMaxWait(int maxWait) {
        this.maxWait = maxWait;
    }

    public int getTimeBetweenEvictionRunsMillis() {
        return timeBetweenEvictionRunsMillis;
    }

    public void setTimeBetweenEvictionRunsMillis(int timeBetweenEvictionRunsMillis) {
        this.timeBetweenEvictionRunsMillis = timeBetweenEvictionRunsMillis;
    }

    public int getMinEvictableIdleTimeMillis() {
        return minEvictableIdleTimeMillis;
    }

    public void setMinEvictableIdleTimeMillis(int minEvictableIdleTimeMillis) {
        this.minEvictableIdleTimeMillis = minEvictableIdleTimeMillis;
    }

    public int getMaxEvictableIdleTimeMillis() {
        return maxEvictableIdleTimeMillis;
    }

    public void setMaxEvictableIdleTimeMillis(int maxEvictableIdleTimeMillis) {
        this.maxEvictableIdleTimeMillis = maxEvictableIdleTimeMillis;
    }

    public String getValidationQuery() {
        return validationQuery;
    }

    public void setValidationQuery(String validationQuery) {
        this.validationQuery = validationQuery;
    }

    public boolean isTestWhileIdle() {
        return testWhileIdle;
    }

    public void setTestWhileIdle(boolean testWhileIdle) {
        this.testWhileIdle = testWhileIdle;
    }

    public boolean isTestOnBorrow() {
        return testOnBorrow;
    }

    public void setTestOnBorrow(boolean testOnBorrow) {
        this.testOnBorrow = testOnBorrow;
    }

    public boolean isTestOnReturn() {
        return testOnReturn;
    }

    public void setTestOnReturn(boolean testOnReturn) {
        this.testOnReturn = testOnReturn;
    }

    public Map<String, Map<String, String>> getDs() {
        return ds;
    }

    public void setDs(Map<String, Map<String, String>> ds) {
        this.ds = ds;
    }
}

這個(gè)配置類沒啥好說的，我們配置的多個(gè)數(shù)據(jù)源我將之讀取到了一個(gè)名為 ds 的 Map 中，將來就根據(jù)這個(gè) Map 中的數(shù)據(jù)來構(gòu)造數(shù)據(jù)源。

四加載數(shù)據(jù)源

接下來我們要根據(jù)配置文件來加載數(shù)據(jù)源。加載方式如下：

public interface DynamicDataSourceProvider {
    String DEFAULT_DATASOURCE = "master";
    /**
     * 加載所有的數(shù)據(jù)源
     * @return
     */
    Map<String, DataSource> loadDataSources();
}
@Configuration
@EnableConfigurationProperties(DruidProperties.class)
public class YamlDynamicDataSourceProvider implements DynamicDataSourceProvider {
    @Autowired
    DruidProperties druidProperties;

    @Override
    public Map<String, DataSource> loadDataSources() {
        Map<String, DataSource> ds = new HashMap<>(druidProperties.getDs().size());
        try {
            Map<String, Map<String, String>> map = druidProperties.getDs();
            Set<String> keySet = map.keySet();
            for (String s : keySet) {
                DruidDataSource dataSource = (DruidDataSource) DruidDataSourceFactory.createDataSource(map.get(s));
                ds.put(s, druidProperties.dataSource(dataSource));
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return ds;
    }
}

加載的核心工作在 YamlDynamicDataSourceProvider 類中完成的。該類中有一個(gè) loadDataSources 方法表示讀取所有的數(shù)據(jù)源對(duì)象。數(shù)據(jù)源的相關(guān)屬性都在 druidProperties 對(duì)象中，我們先根據(jù)基本的數(shù)據(jù)庫(kù)連接信息創(chuàng)建一個(gè) DataSource 對(duì)象，然后再調(diào)用 druidProperties#dataSource 方法為這些數(shù)據(jù)源連接池配置其他的屬性（最大連接數(shù)、最小空閑數(shù)等），最后，以 key-value 的形式將數(shù)據(jù)源存入一個(gè) Map 集合中，每一個(gè)數(shù)據(jù)源的 key 就是你在 YAML 中配置的數(shù)據(jù)源名稱。

五數(shù)據(jù)源切換

對(duì)于當(dāng)前數(shù)據(jù)庫(kù)操作使用哪個(gè)數(shù)據(jù)源？我們有很多種不同的設(shè)置方案，當(dāng)然最為省事的辦法是把當(dāng)前使用的數(shù)據(jù)源信息存入到 ThreadLocal 中，ThreadLocal 的特點(diǎn)，簡(jiǎn)單說就是在哪個(gè)線程中存入的數(shù)據(jù)，在哪個(gè)線程才能取出來，換一個(gè)線程就取不出來了，這樣可以確保多線程環(huán)境下的數(shù)據(jù)安全。

先來一個(gè)簡(jiǎn)單的工具類，如下：

public class DynamicDataSourceContextHolder {
    public static final Logger log = LoggerFactory.getLogger(DynamicDataSourceContextHolder.class);

    /**
     * 使用ThreadLocal維護(hù)變量，ThreadLocal為每個(gè)使用該變量的線程提供獨(dú)立的變量副本，
     * 所以每一個(gè)線程都可以獨(dú)立地改變自己的副本，而不會(huì)影響其它線程所對(duì)應(yīng)的副本。
     */
    private static final ThreadLocal<String> CONTEXT_HOLDER = new ThreadLocal<>();

    /**
     * 設(shè)置數(shù)據(jù)源的變量
     */
    public static void setDataSourceType(String dsType) {
        log.info("切換到{}數(shù)據(jù)源", dsType);
        CONTEXT_HOLDER.set(dsType);
    }

    /**
     * 獲得數(shù)據(jù)源的變量
     */
    public static String getDataSourceType() {
        return CONTEXT_HOLDER.get();
    }

    /**
     * 清空數(shù)據(jù)源變量
     */
    public static void clearDataSourceType() {
        CONTEXT_HOLDER.remove();
    }
}

接下來我們自定義一個(gè)注解用來標(biāo)記當(dāng)前的數(shù)據(jù)源，如下：

@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD, ElementType.TYPE})
public @interface DataSource {
    String dataSourceName() default DynamicDataSourceProvider.DEFAULT_DATASOURCE;

    @AliasFor("dataSourceName")
    String value() default DynamicDataSourceProvider.DEFAULT_DATASOURCE;
}

這個(gè)注解將來加在 Service 層的方法上，使用該注解的時(shí)候，需要指定一個(gè)數(shù)據(jù)源名稱，不指定的話，默認(rèn)就使用 master 作為數(shù)據(jù)源。

我們還需要通過 AOP 來解析當(dāng)前的自定義注解，如下：

@Aspect
@Order(1)
@Component
public class DataSourceAspect {
    @Pointcut("@annotation(org.javaboy.demo.annotation.DataSource)"
            + "|| @within(org.javaboy.demo.annotation.DataSource)")
    public void dsPc() {

    }

    @Around("dsPc()")
    public Object around(ProceedingJoinPoint point) throws Throwable {
        DataSource dataSource = getDataSource(point);

        if (Objects.nonNull(dataSource)) {
            DynamicDataSourceContextHolder.setDataSourceType(dataSource.dataSourceName());
        }

        try {
            return point.proceed();
        } finally {
            // 銷毀數(shù)據(jù)源 在執(zhí)行方法之后
            DynamicDataSourceContextHolder.clearDataSourceType();
        }
    }

    /**
     * 獲取需要切換的數(shù)據(jù)源
     */
    public DataSource getDataSource(ProceedingJoinPoint point) {
        MethodSignature signature = (MethodSignature) point.getSignature();
        DataSource dataSource = AnnotationUtils.findAnnotation(signature.getMethod(), DataSource.class);
        if (Objects.nonNull(dataSource)) {
            return dataSource;
        }
        return AnnotationUtils.findAnnotation(signature.getDeclaringType(), DataSource.class);
    }
}

首先，我們?cè)?dsPc() 方法上定義了切點(diǎn)，我們攔截下所有帶有 @DataSource 注解的方法，同時(shí)由于該注解也可以加在類上，如果該注解加在類上，就表示類中的所有方法都使用該數(shù)據(jù)源。
接下來我們定義了一個(gè)環(huán)繞通知，首先根據(jù)當(dāng)前的切點(diǎn)，調(diào)用 getDataSource 方法獲取到 @DataSource 注解，這個(gè)注解可能來自方法上也可能來自類上，方法上的優(yōu)先級(jí)高于類上的優(yōu)先級(jí)。如果拿到的注解不為空，則我們?cè)?DynamicDataSourceContextHolder 中設(shè)置當(dāng)前的數(shù)據(jù)源名稱，設(shè)置完成后進(jìn)行方法的調(diào)用；如果拿到的注解為空，那么就直接進(jìn)行方法的調(diào)用，不再設(shè)置數(shù)據(jù)源了（將來會(huì)自動(dòng)使用默認(rèn)的數(shù)據(jù)源）。最后記得方法調(diào)用完成后，從 ThreadLocal 中移除數(shù)據(jù)源。

六定義動(dòng)態(tài)數(shù)據(jù)源

接下來我們來自定義一個(gè)動(dòng)態(tài)數(shù)據(jù)源：

public class DynamicDataSource extends AbstractRoutingDataSource {

    DynamicDataSourceProvider dynamicDataSourceProvider;

    public DynamicDataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {
        this.dynamicDataSourceProvider = dynamicDataSourceProvider;
        Map<Object, Object> targetDataSources = new HashMap<>(dynamicDataSourceProvider.loadDataSources());
        super.setTargetDataSources(targetDataSources);
        super.setDefaultTargetDataSource(dynamicDataSourceProvider.loadDataSources().get(DynamicDataSourceProvider.DEFAULT_DATASOURCE));
        super.afterPropertiesSet();
    }

    @Override
    protected Object determineCurrentLookupKey() {
        String dataSourceType = DynamicDataSourceContextHolder.getDataSourceType();
        return dataSourceType;
    }
}

這就是我們文章開頭所說的 AbstractRoutingDataSource 了，該類有一個(gè)方法名為 determineCurrentLookupKey，當(dāng)需要使用數(shù)據(jù)源的時(shí)候，系統(tǒng)會(huì)自動(dòng)調(diào)用該方法，獲取當(dāng)前數(shù)據(jù)源的標(biāo)記，如 master 或者 slave 或者其他，拿到標(biāo)記之后，就可以據(jù)此獲取到一個(gè)數(shù)據(jù)源了。

當(dāng)我們配置 DynamicDataSource 的時(shí)候，需要配置兩個(gè)關(guān)鍵的參數(shù)，一個(gè)是 setTargetDataSources，這個(gè)就是當(dāng)前所有的數(shù)據(jù)源，把當(dāng)前所有的數(shù)據(jù)源都告訴給 AbstractRoutingDataSource，這些數(shù)據(jù)源都是 key-value 的形式（將來根據(jù) determineCurrentLookupKey 方法返回的 key 就可以獲取到具體的數(shù)據(jù)源了）；另一個(gè)方法是 setDefaultTargetDataSource，這個(gè)就是默認(rèn)的數(shù)據(jù)源，當(dāng)我們執(zhí)行一個(gè)數(shù)據(jù)庫(kù)操作的時(shí)候，如果沒有指定數(shù)據(jù)源（例如 Service 層的方法沒有加 @DataSource 注解），那么默認(rèn)就使用這個(gè)數(shù)據(jù)源。

最后，再將這個(gè) bean 注冊(cè)到 Spring 容器中，如下：

@Configuration
public class DruidAutoConfiguration {
    @Autowired
    DynamicDataSourceProvider dynamicDataSourceProvider;

    @Bean
    DynamicDataSource dynamicDataSource() {
        return new DynamicDataSource(dynamicDataSourceProvider);
    }

    /**
     * 去除數(shù)據(jù)源監(jiān)控頁(yè)面的廣告
     *
     * @param properties
     * @return
     */
    @Bean
    @ConditionalOnProperty(name = "spring.datasource.druid.statViewServlet.enabled", havingValue = "true")
    public FilterRegistrationBean removeDruidFilterRegistrationBean(DruidStatProperties properties) {
        // 獲取web監(jiān)控頁(yè)面的參數(shù)
        DruidStatProperties.StatViewServlet config = properties.getStatViewServlet();
        // 提取common.js的配置路徑
        String pattern = config.getUrlPattern() != null ? config.getUrlPattern() : "/druid/*";
        String commonJsPattern = pattern.replaceAll("\\*", "js/common.js");
        // 創(chuàng)建filter進(jìn)行過濾
        Filter filter = new Filter() {
            @Override
            public void init(javax.servlet.FilterConfig filterConfig) throws ServletException {
            }

            @Override
            public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
                    throws IOException, ServletException {
                String text = Utils.readFromResource("support/http/resources/js/common.js");
                text = text.replace("this.buildFooter();", "");
                response.getWriter().write(text);
            }

            @Override
            public void destroy() {
            }
        };
        FilterRegistrationBean registrationBean = new FilterRegistrationBean();
        registrationBean.setFilter(filter);
        registrationBean.addUrlPatterns(commonJsPattern);
        return registrationBean;
    }
}

下面，我們還配置了一個(gè)過濾器，這個(gè)過濾器的目的是去除 Druid 監(jiān)控頁(yè)面的阿里廣告，具體原理參考Spring Boot 如何監(jiān)控 SQL 運(yùn)行情況？一文。

七測(cè)試

好啦，大功告成，我們?cè)賮頊y(cè)試一下，寫一個(gè) UserMapper：

@Mapper
public interface UserMapper {
    @Select("select count(*) from user")
    Integer count();
}

一個(gè)很簡(jiǎn)單的數(shù)據(jù)庫(kù)查詢操作。

再來一個(gè) service：

@Service
public class UserService {

    @Autowired
    UserMapper userMapper;

    @DataSource("master")
    public Integer master() {
        return userMapper.count();
    }

    @DataSource("slave")
    public Integer slave() {
        return userMapper.count();
    }
}

通過 @DataSource 注解來指定具體操作的數(shù)據(jù)源，如果沒有使用該注解指定，默認(rèn)就使用 master 數(shù)據(jù)源。

最后去單元測(cè)試中測(cè)一下，如下：

@SpringBootTest
class DynamicDatasourceDemoApplicationTests {

    @Autowired
    UserService userService;

    @Test
    void contextLoads() {
        System.out.println("userService.master() = " + userService.master());
        System.out.println("userService.slave() = " + userService.slave());
    }

}

由于我這里 master 和 slave 分別對(duì)應(yīng)了不同的庫(kù)，這里查詢會(huì)展示出不同的結(jié)果。

責(zé)任編輯：武曉燕來源：江南一點(diǎn)雨