基于 Spring Boot 的實時人臉檢測和識別系統

作者：編程疏影 2024-06-12 08:10:08

本文首先介紹了實時人臉檢測和識別系統的基本需求和技術挑戰。接著，通過Spring Boot和WebSocket技術實現了一個簡單的實時人臉檢測與識別系統，并結合代碼示例詳細講解了實現過程。

本專題致力于深入探討如何通過SpringBoot3.x框架與OpenCV庫實現高效的人臉檢測和人臉識別系統。通過系統化的10篇文章，從基礎概念到高級應用，結合代碼示例和實戰案例，逐步引導大家掌握從零開始構建完整人臉檢測與識別系統的全過程。

基于 Spring Boot 的實時人臉檢測和識別系統

隨著人工智能和計算機視覺技術的不斷發展，實時人臉檢測和識別技術在安防、考勤、門禁控制等領域的應用越來越廣泛。實現一個高效、穩定的實時人臉檢測和識別系統，需要解決包括延遲、數據一致性、并發處理等相關技術難題。本文將深入講解如何基于Spring Boot和WebSocket實現一個實時人臉檢測和識別系統，并結合具體代碼示例進行講解。

基本需求和挑戰

實時檢測和識別需求

高實時性：視頻流中的人臉圖像需要被及時檢測和識別，并同步到客戶端。
高準確性：檢測和識別算法需要具有高準確率，減少誤識別和漏識別現象。

技術挑戰

系統延遲：在高并發訪問下，需要保證檢測和識別的快速響應，降低系統延遲。
數據一致性：在多客戶端并發訪問和多個傳感器同時上傳數據時，確保數據一致性和同步。
擴展性：系統需要具備良好的擴展性，能夠處理不斷增加的數據量和訪問量。

實現方案

1. 使用Spring Boot和WebSocket實現實時人臉檢測

依賴配置在項目的 pom.xml 文件中添加以下依賴，以支持Spring Boot和WebSocket：

<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacpp</artifactId>
    <version>1.5.5</version>
</dependency>
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacv-platform</artifactId>
    <version>1.5.5</version>
</dependency>
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>dlib-platform</artifactId>
    <version>19.21.1-1.5.5</version>
</dependency>
<dependency>
    <groupId>net.sourceforge.tess4j</groupId>
    <artifactId>tess4j</artifactId>
    <version>4.5.3</version>
</dependency>

WebSocket配置創建 WebSocketConfig 配置類，實現 WebSocket 的配置：

import org.springframework.context.annotation.Configuration;
import org.springframework.web.socket.config.annotation.EnableWebSocket;
import org.springframework.web.socket.config.annotation.WebSocketConfigurer;
import org.springframework.web.socket.config.annotation.WebSocketHandlerRegistry;

@Configuration
@EnableWebSocket
public class WebSocketConfig implements WebSocketConfigurer {

    @Override
    public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
        // 注冊WebSocket處理器
        registry.addHandler(new FaceDetectionHandler(), "/faceDetection")
                .setAllowedOrigins("*"); // 允許所有域名的跨域請求
    }
}

視頻流處理使用 OpenCV 庫進行視頻流處理和人臉檢測：

import org.opencv.core.Mat;
import org.opencv.core.Rect;
import org.opencv.core.Size;
import org.opencv.imgproc.Imgproc;
import org.opencv.objdetect.CascadeClassifier;
import org.opencv.videoio.VideoCapture;
import org.springframework.web.socket.TextMessage;
import org.springframework.web.socket.WebSocketSession;
import org.springframework.web.socket.handler.TextWebSocketHandler;
import java.io.ByteArrayInputStream;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class FaceDetectionHandler extends TextWebSocketHandler {

    private static final List<WebSocketSession> sessions = new ArrayList<>();

    static {
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
    }

    @Override
    public void afterConnectionEstablished(WebSocketSession session) throws Exception {
        sessions.add(session); // 連接建立后添加會話
    }

    @Override
    public void afterConnectionClosed(WebSocketSession session, CloseStatus status) throws Exception {
        sessions.remove(session); // 連接關閉時移除會話
    }

    @Override
    protected void handleTextMessage(WebSocketSession session, TextMessage message) throws Exception {
        // 處理收到的消息并廣播給所有連接的會話
        for (WebSocketSession webSocketSession : sessions) {
            webSocketSession.sendMessage(message);
        }
    }

    // 推送人臉檢測結果
    public void sendFaceDetectionResult(String imageBase64) {
        for (WebSocketSession session : sessions) {
            try {
                session.sendMessage(new TextMessage(imageBase64)); // 發送消息
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

    // 處理視頻流，檢測人臉
    public void processVideoStream() {
        VideoCapture camera = new VideoCapture(0);
        if (!camera.isOpened()) {
            System.out.println("Camera Error");
            return;
        }
        CascadeClassifier faceDetector = new CascadeClassifier("haarcascade_frontalface_alt.xml");
        Mat frame = new Mat();
        while (camera.read(frame)) {
            Mat frameGray = new Mat();
            Imgproc.cvtColor(frame, frameGray, Imgproc.COLOR_BGR2GRAY);
            Imgproc.equalizeHist(frameGray, frameGray);

            Rect[] facesArray = faceDetector.detectMultiScale(frameGray);
            for (Rect face : facesArray) {
                Imgproc.rectangle(frame, face.tl(), face.br(), new Scalar(0, 255, 0), 3);
            }

            BufferedImage image = matToBufferedImage(frame);
            String imageBase64 = imageToBase64(image);
            sendFaceDetectionResult(imageBase64);
        }
        camera.release();
    }

    private BufferedImage matToBufferedImage(Mat mat) {
        // Convert Mat to BufferedImage
        MatOfByte mob = new MatOfByte();
        Imgcodecs.imencode(".jpg", mat, mob);
        byte[] byteArray = mob.toArray();
        BufferedImage bufImage = null;
        try {
            bufImage = ImageIO.read(new ByteArrayInputStream(byteArray));
        } catch (IOException e) {
            e.printStackTrace();
        }
        return bufImage;
    }

    private String imageToBase64(BufferedImage image) {
        // Convert BufferedImage to Base64 String
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        try {
            ImageIO.write(image, "jpg", baos);
            byte[] bytes = baos.toByteArray();
            return Base64.getEncoder().encodeToString(bytes);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }
}

2. 結合視頻流實現實時人臉識別

在檢測到人臉后，通過人臉識別算法進行識別，并返回識別結果：

import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import redis.clients.jedis.Jedis;

@RestController
@RequestMapping("/api/face")
public class FaceRecognitionController {

    @Autowired
    private FaceDetectionHandler faceDetectionHandler; // 注入WebSocket消息處理器

    private Jedis jedis = new Jedis("localhost");

    @PostMapping("/recognize")
    public void recognizeFace(@RequestBody FaceRecognitionRequest request) {
        // 假設FaceRecognitionService進行了人臉識別
        String recognizedPerson = FaceRecognitionService.recognize(request.getImageBase64());

        // 更新 Redis 中的識別結果
        jedis.set("recognizedPerson", recognizedPerson);

        // 通過 WebSocket 推送識別結果
        faceDetectionHandler.sendFaceRecognitionResult(recognizedPerson);
    }
}

FaceRecognitionService示例：

import org.bytedeco.dlib.*;
import org.bytedeco.dlib.global.dlib;
import org.bytecode.*;

import java.nio.file.*;
import java.util.*;

public class FaceRecognitionService {

    private frontal_face_detector detector;
    private shape_predictor sp;
    private anet_type net;
    private List<FaceProfile> knownFaces;

    public FaceRecognitionService() {
        detector = dlib.get_frontal_face_detector();
        sp = new shape_predictor("shape_predictor_68_face_landmarks.dat");
        net = new anet_type();
        dlib.deserialize("dlib_face_recognition_resnet_model_v1.dat").to(net);

        knownFaces = loadKnownFaces();
    }

    // 加載已知人臉數據
    private List<FaceProfile> loadKnownFaces() {
        List<FaceProfile> faces = new ArrayList<>();
        // 讀取已知人臉圖像和特征
        // 這里可以從數據庫或文件系統加載已知人臉數據
        return faces;
    }

    // 識別人臉
    public String recognize(String imageBase64) {
        // 解碼Base64圖片
        byte[] decodedBytes = Base64.getDecoder().decode(imageBase64);
        Mat img = ImgCodecs.imdecode(new Mat(decodedBytes), ImgCodecs.IMREAD_COLOR);

        // 檢測人臉
        dlib.rectangles faces = detector.apply(img);
        ArrayList<Matrix> faceDescriptors = new ArrayList<>();
        for (rect face : faces) {
            full_object_detection shape = sp.apply(img, face);
            Matrix face_chip = new Matrix();
            extract_image_chip.apply(img, get_face_chip_details.apply(shape, 150, 0.25) , face_chip);
            faceDescriptors.add(net.apply(face_chip));
        }

        // 比對人臉
        if (faceDescriptors.size() > 0) {
            Matrix faceDescriptor = faceDescriptors.get(0);
            String recognizedPerson = findBestMatch(faceDescriptor);
            return recognizedPerson;
        }

        return "Unknown";
    }

    // 比對人臉特征，找到最佳匹配
    private String findBestMatch(Matrix faceDescriptor) {
        double minDistance = Double.MAX_VALUE;
        String bestMatch = "Unknown";

        for (FaceProfile knownFace : knownFaces) {
            double distance = length(subtract(faceDescriptor, knownFace.getFaceDescriptor()));
            if (distance < minDistance) {
                minDistance = distance;
                bestMatch = knownFace.getName();
            }
        }

        return bestMatch;
    }
}

class FaceProfile {
    private String name;
    private Matrix faceDescriptor;

    public FaceProfile(String name, Matrix faceDescriptor) {
        this.name = name;
        this.faceDescriptor = faceDescriptor;
    }

    public String getName() {
        return name;
    }

    public Matrix getFaceDescriptor() {
        return faceDescriptor;
    }
}

3. 討論系統延遲和優化策略

系統延遲問題

視頻幀處理延遲：由于視頻幀處理需要完成面部檢測和識別，可能會導致延遲。
網絡傳輸延遲：視頻流數據和識別結果需要通過網絡進行傳輸，傳輸過程中的網絡波動可能導致延遲。

優化策略

硬件加速：利用GPU進行視頻幀和人臉檢測、識別計算，提高計算速度，降低處理延遲。
改進算法效率：優化圖像處理和人臉識別算法，減少單幀處理時間。
并行處理：引入多線程并行處理技術，如將檢測與識別步驟分離，獨立處理不同視頻流幀。
視頻編碼優化：利用高效的視頻編碼技術，減少視頻傳輸數據量，降低網絡傳輸時間。

前端 WebSocket 客戶端實現

在前端實現 WebSocket 客戶端，以接收和展示實時檢測與識別的結果。

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>實時人臉檢測和識別</title>
</head>
<body>
    <h1>實時人臉檢測和識別結果</h1>
    <div id="video-container">
        <img id="video-frame" src="" alt="Video Frame">
        <p id="recognition-result"></p>
    </div>

    <script>
        // 初始化WebSocket連接
        const socket = new WebSocket('ws://localhost:8080/faceDetection');

        socket.onopen = function(event) {
            console.log("WebSocket connection established!");
        };

        socket.onmessage = function(event) {
            // 解析WebSocket消息
            const message = JSON.parse(event.data);
            if (message.type === 'detection') {
                // 更新視頻幀
                document.getElementById('video-frame').src = 'data:image/jpeg;base64,' + message.data;
            } else if (message.type === 'recognition') {
                // 更新識別結果
                document.getElementById('recognition-result').innerText = '識別結果: ' + message.data;
            }
        };

        socket.onclose = function(event) {
            console.log("WebSocket connection closed.");
        };
    </script>
</body>
</html>

這個前端頁面展示了一個簡單的實時視頻流容器，以及一個顯示人臉識別結果的文本框。WebSocket 客戶端接收到服務器推送的檢測結果和識別結果，并進行展示。

完整代碼結構

以下是一個完整的項目結構，供大家參考：

com.example.facedetection
├───config
|   └───WebSocketConfig.java
├───controller
|   └───FaceRecognitionController.java
├───handler
|   └───FaceDetectionHandler.java
├───service
|   └───FaceRecognitionService.java
├───FaceDetectionApplication.java
├───resources
|   └───application.properties
└───static
    └───index.html

總結

這個系統在實際應用中還需要進一步優化和擴展，包括提升檢測和識別精度、降低系統延遲、實現分布式部署等。相信大家通過本文的學習，對實現一個實時人臉檢測和識別系統有了更深入的理解和掌握。

責任編輯：武曉燕來源：路條編程

Spring 人臉檢測識別系統

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

基于 Spring Boot 的實時人臉檢測和識別系統