[[429438]]

作者 | 王磊

來(lái)源 | Java中文社群(ID：javacn666)

轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)(微信ID：GG_Stone)

前面的文章咱們講了 MyBatis 批量插入的 3 種方法：循環(huán)單次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入，詳情請(qǐng)點(diǎn)擊《MyBatis 批量插入數(shù)據(jù)的 3 種方法!》。

但之前的文章也有不完美之處，原因在于：使用 「循環(huán)單次插入」的性能太低，使用「MyBatis Plus 批量插入」性能還行，但要額外的引入 MyBatis Plus 框架，使用「MyBatis 原生批量插入」性能最好，但在插入大量數(shù)據(jù)時(shí)會(huì)導(dǎo)致程序報(bào)錯(cuò)，那么，今天咱們就會(huì)提供一個(gè)更優(yōu)的解決方案。

原生批量插入的“坑”

首先，我們來(lái)看一下 MyBatis 原生批量插入中的坑，當(dāng)我們批量插入 10 萬(wàn)條數(shù)據(jù)時(shí)，實(shí)現(xiàn)代碼如下：

import com.example.demo.model.User; 
import com.example.demo.service.impl.UserServiceImpl; 
import org.junit.jupiter.api.Test; 
import org.springframework.beans.factory.annotation.Autowired; 
import org.springframework.boot.test.context.SpringBootTest; 
 
import java.util.ArrayList; 
import java.util.List; 
 
@SpringBootTest 
class UserControllerTest { 
 
    // 最大循環(huán)次數(shù) 
    private static final int MAXCOUNT = 100000; 
 
    @Autowired 
    private UserServiceImpl userService; 
     
    /** 
     * 原生自己拼接 SQL，批量插入 
     */ 
    @Test 
    void saveBatchByNative() { 
        long stime = System.currentTimeMillis(); // 統(tǒng)計(jì)開(kāi)始時(shí)間 
        List<User> list = new ArrayList<>(); 
        for (int i = 0; i < MAXCOUNT; i++) { 
            User user = new User(); 
            user.setName("test:" + i); 
            user.setPassword("123456"); 
            list.add(user); 
        } 
        // 批量插入 
        userService.saveBatchByNative(list); 
        long etime = System.currentTimeMillis(); // 統(tǒng)計(jì)結(jié)束時(shí)間 
        System.out.println("執(zhí)行時(shí)間：" + (etime - stime)); 
    } 
} 

核心文件 UserMapper.xml 中的實(shí)現(xiàn)代碼如下：

<?xml version="1.0" encoding="UTF-8"?> 
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> 
<mapper namespace="com.example.demo.mapper.UserMapper"> 
    <insert id="saveBatchByNative"> 
        INSERT INTO `USER`(`NAME`,`PASSWORD`) VALUES 
        <foreach collection="list" separator="," item="item"> 
            (#{item.name},#{item.password}) 
        </foreach> 
    </insert> 
 
</mapper> 

當(dāng)我們開(kāi)心地運(yùn)行以上程序時(shí)，就出現(xiàn)了以下的一幕：

沃，程序竟然報(bào)錯(cuò)了!

這是因?yàn)槭褂?MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M，而默認(rèn)情況下 MySQL 可以執(zhí)行的最大 SQL 為 4M，那么在程序執(zhí)行時(shí)就會(huì)報(bào)錯(cuò)了。

解決方案

以上的問(wèn)題就是因?yàn)榕坎迦霑r(shí)拼接的 SQL 文件太多了，所以導(dǎo)致 MySQL 的執(zhí)行報(bào)錯(cuò)了。那么我們第一時(shí)間想到的解決方案就是將大文件分成 N 個(gè)小文件，這樣就不會(huì)因?yàn)?SQL 太大而導(dǎo)致執(zhí)行報(bào)錯(cuò)了。也就是說(shuō)，我們可以將待插入的 List 集合分隔為多個(gè)小 List 來(lái)執(zhí)行批量插入的操作，而這個(gè)操作過(guò)程就叫做 List 分片。

有了處理思路之后，接下來(lái)就是實(shí)踐了，那如何對(duì)集合進(jìn)行分片操作呢?

分片操作的實(shí)現(xiàn)方式有很多種，這個(gè)我們后文再講，接下來(lái)我們使用最簡(jiǎn)單的方式，也就是 Google 提供的 Guava 框架來(lái)實(shí)現(xiàn)分片的功能。

分片 Demo 實(shí)戰(zhàn)

要實(shí)現(xiàn)分片功能，第一步我們先要添加 Guava 框架的支持，在 pom.xml 中添加以下引用：

<!-- google guava 工具類(lèi) --> 
<!-- https://mvnrepository.com/artifact/com.google.guava/guava --> 
<dependency> 
  <groupId>com.google.guava</groupId> 
  <artifactId>guava</artifactId> 
  <version>31.0.1-jre</version> 
</dependency> 

接下來(lái)我們寫(xiě)一個(gè)小小的 demo，將以下 7 個(gè)人名分為 3 組(每組最多 3 個(gè))，實(shí)現(xiàn)代碼如下：

import com.google.common.collect.Lists; 
 
import java.util.Arrays; 
import java.util.List; 
 
/** 
 * Guava 分片 
 */ 
public class PartitionByGuavaExample { 
    // 原集合 
    private static final List<String> OLD_LIST = Arrays.asList( 
            "唐僧,悟空,八戒,沙僧,曹操,劉備,孫權(quán)".split(",")); 
 
    public static void main(String[] args) { 
        // 集合分片 
        List<List<String>> newList = Lists.partition(OLD_LIST, 3); 
        // 打印分片集合 
        newList.forEach(i -> { 
            System.out.println("集合長(zhǎng)度：" + i.size()); 
        }); 
    } 
} 

以上程序的執(zhí)行結(jié)果如下：

從上述結(jié)果可以看出，我們只需要使用 Guava 提供的 Lists.partition 方法就可以很輕松的將一個(gè)集合進(jìn)行分片了。

原生批量插入分片實(shí)現(xiàn)

那接下來(lái)，就是改造我們的 MyBatis 批量插入代碼了，具體實(shí)現(xiàn)如下：

@Test 
void saveBatchByNativePartition() { 
    long stime = System.currentTimeMillis(); // 統(tǒng)計(jì)開(kāi)始時(shí)間 
    List<User> list = new ArrayList<>(); 
    // 構(gòu)建插入數(shù)據(jù) 
    for (int i = 0; i < MAXCOUNT; i++) { 
        User user = new User(); 
        user.setName("test:" + i); 
        user.setPassword("123456"); 
        list.add(user); 
    } 
    // 分片批量插入 
    int count = (int) Math.ceil(MAXCOUNT / 1000.0); // 分為 n 份，每份 1000 條 
    List<List<User>> listPartition = Lists.partition(list, count); 
    // 分片批量插入 
    for (List<User> item : listPartition) { 
        userService.saveBatchByNative(item); 
    } 
    long etime = System.currentTimeMillis(); // 統(tǒng)計(jì)結(jié)束時(shí)間 
    System.out.println("執(zhí)行時(shí)間：" + (etime - stime)); 
} 

執(zhí)行以上程序，最終的執(zhí)行結(jié)果如下：

從上圖可以看出，之前批量插入時(shí)的異常報(bào)錯(cuò)不見(jiàn)了，并且此實(shí)現(xiàn)方式的執(zhí)行效率竟比 MyBatis Plus 的批量插入的執(zhí)行效率要高，MyBatis Plus 批量插入 10W 條數(shù)據(jù)的執(zhí)行時(shí)間如下：

總結(jié)本文我們演示了 MyBatis 原生批量插入時(shí)的問(wèn)題：可能會(huì)因?yàn)椴迦氲臄?shù)據(jù)太多從而導(dǎo)致運(yùn)行失敗，我們可以通過(guò)分片的方式來(lái)解決此問(wèn)題，分片批量插入的實(shí)現(xiàn)步驟如下：

1. 計(jì)算出分片的數(shù)量(分為 N 批);
2. 使用 Lists.partition 方法將集合進(jìn)行分片(分為 N 個(gè)集合);
3. 循環(huán)將分片的集合進(jìn)行批量插入的操作。