一起聊聊基于隊列實現多人同時導出 Excel

作者：一安 2024-05-07 08:08:24

其余的還未實現，導出文件的表的設計、oss文件上傳、用戶導出文件下載，還有高并發的場景下會不會出現什么問題，這些都還沒有太考慮進去；實現的方式應該挺多的，Redis的隊列應該也是可以的，這里僅僅提供一個實現思路。

前言

業務訴求：考慮到數據庫數據日漸增多，導出會有全量數據的導出，多人同時導出可以會對服務性能造成影響，導出涉及到mysql查詢的io操作，還涉及文件輸入、輸出流的io操作，所以對服務器的性能會影響比較大；結合以上原因，對導出操作進行排隊；

剛開始拿到這個需求，第一時間想到就是需要維護一個FIFO先進先出的隊列，給定隊列一個固定size，在隊列里面的人進行排隊進行數據導出，導出完成后立馬出隊列，下一個排隊的人進行操作；還考慮到異步，可能還需要建個文件導出表，主要記錄文件的導出情況，文件的存放地址，用戶根據文件列表情況下載導出文件。

業務關系定義

分別是用戶、導出隊列、導出執行方法

ExportQueue：維護一條定長隊列，可以獲取隊列里前后排隊的用戶，提供查詢，隊列如果已經滿了，其余的人需要進行等待
User信息：排隊執行導出方法對應用戶；
Export類：定義導出方法，異步執行，用戶可以通過導出頁面查看、下載，導出的文件；

圖片

具體代碼實現

ExportQueue隊列

package com.example.system.config;

import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

import java.util.LinkedList;

@Slf4j
@Component
public class ExportQueue {


    private final int MAX_CAPACITY = 10; // 隊列最大容量
    private LinkedList<ExportUser> queue; // 用戶隊列

    public ExportQueue(LinkedList<ExportUser> queue) {
        this.queue = new LinkedList<>();
    }

    /**
     * 排隊隊列添加
     * @param sysUser
     */
    public synchronized LinkedList<ExportUser> add(ExportUser sysUser) {
        while (queue.size() >= MAX_CAPACITY) {
            try {
                log.info("當前排隊人已滿，請等待");
                wait();
            } catch (InterruptedException e) {
                e.getMessage();
            }
        }
        queue.add(sysUser);
        log.info("目前導出隊列排隊人數：" + queue.size());
        notifyAll();
        return queue;
    }


    /**
     * 獲取排隊隊列下一個人
     * @return
     */
    public synchronized ExportUser getNextSysUser() {
        while (queue.isEmpty()) {
            try {
                wait();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        ExportUser sysUser = queue.remove();
        notifyAll(); //喚醒
        return sysUser;
    }
}

AbstractExport導出類

引入EasyExcel百萬級別的導出功能

package com.example.system.config;


import cn.hutool.core.bean.BeanUtil;
import cn.hutool.core.util.PageUtil;
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.net.URLEncoder;
import java.util.List;

@Slf4j
public abstract class AbstractExport<T, K> {


    public abstract void export(ExportUser sysUser) throws InterruptedException;

    /**
     * 導出
     *
     * @param response 輸出流
     * @param pageSize 每頁大小
     * @param t        導出條件
     * @param k        Excel內容實體類
     * @param fileName 文件名稱
     */
    public void export(HttpServletResponse response, int pageSize, T t, Class<K> k, String fileName) throws Exception {
        ExcelWriter writer = null;
        try {
            writer = getExcelWriter(response, fileName);
            //查詢導出總條數
            int total = this.countExport(t);
            //頁數
            int loopCount = PageUtil.totalPage(total, pageSize);
            BeanUtil.setProperty(t, "pageSize", pageSize);
            for (int i = 0; i < loopCount; i++) {
                //開始頁
                BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));
                //獲取Excel導出信息
                List<K> kList = this.getExportDetail(t);
                WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();
                writer.write(kList, writeSheet);
            }
        } catch (Exception e) {
            String msg = "導出" + fileName + "異常";
            log.error(msg, e);
            throw new Exception(msg + e);
        } finally {
            if (writer != null) {
                writer.finish();
            }
        }
    }

    public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
        response.setContentType("application/vnd.ms-excel");
        response.setCharacterEncoding("utf-8");
        // 這里URLEncoder.encode可以防止中文亂碼 當然和easyexcel沒有關系
        String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20");
        response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");
        return EasyExcel.write(response.getOutputStream()).build();
    }


    /**
     * （模版導出）
     *
     * @param t
     * @param fileName
     * @param response
     */
    public abstract void complexFillWithTable(T t, String fileName, HttpServletResponse response);

    /**
     * 查詢導出總條數
     *
     * @param t
     * @return
     */
    public abstract int countExport(T t);

    /**
     * 查詢導出數據
     *
     * @param t
     * @return
     */
    public abstract List<K> getExportDetail(T t);
}

ExportImpl導出實現方法

package com.example.system.service.impl;

import com.alibaba.excel.ExcelWriter;
import com.example.system.api.domain.ExportUser;
import com.example.system.config.AbstractExport;
import com.example.system.config.ExportQueue;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.LinkedList;
import java.util.List;

@Service
@Slf4j
public class ExportImpl extends AbstractExport {

    @Autowired
    private ExportQueue exportQueue;


    @Override
    public void export(ExportUser sysUser) throws InterruptedException {

        //導出
        log.info("導出文件方法執行～～～～～～～～～");
//        export(response,pageSize,t,k,fileName);
        LinkedList<ExportUser> queue = exportQueue.add(sysUser);
        log.info("導出隊列：" + queue);
        //休眠時間稍微設置大點，模擬導出處理時間
        Thread.sleep(20000);
        //導出成功后移除當前導出用戶
        ExportUser nextSysUser = exportQueue.getNextSysUser();
        log.info("移除后獲取下一個排隊的用戶: " + nextSysUser.getUserName());

    }


    @Override
    public void export(HttpServletResponse response, int pageSize, Object o, Class k, String fileName) throws Exception {
        super.export(response, pageSize, o, k, fileName);
    }

    @Override
    public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
        return super.getExcelWriter(response, fileName);
    }

    @Override
    public void complexFillWithTable(Object o, String fileName, HttpServletResponse response) {

    }

    @Override
    public int countExport(Object o) {
        return 0;
    }

    @Override
    public List getExportDetail(Object o) {
        return null;
    }
}

測試controller

package com.example.system.controller;

import com.example.system.api.domain.ExportUser;
import com.example.system.api.domain.SysUser;
import com.example.system.service.impl.ExportImpl;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/export")
@Slf4j
public class ExportController {

    @Autowired
    private ExportImpl export;


    @PostMapping("/exportFile")
    public void exportFile() {
            new Thread(new Runnable() {
                @SneakyThrows
                @Override
                public void run() {
                    Thread thread1 = Thread.currentThread();
                    ExportUser sysUser =new ExportUser();
                    sysUser.setUserName(thread1.getName());

                    export.export(sysUser);
                }
            }).start();
        }
}

測試結果

通過請求測試方法，限制了我們導出隊列最大限制10次，隊列場長度超過10次則無法進行繼續提交；

圖片

第一次請求和第二次請求，間隔10秒，第一個用戶導出完成后出列，下一個排隊用戶在隊列首位，再進行導出請求排在上一個用戶后面；

圖片

總結

其余的還未實現，導出文件的表的設計、oss文件上傳、用戶導出文件下載，還有高并發的場景下會不會出現什么問題，這些都還沒有太考慮進去；實現的方式應該挺多的，Redis的隊列應該也是可以的，這里僅僅提供一個實現思路；

責任編輯：武曉燕來源：一安未來

隊列 oss 文件

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看