微調 YOLO 做車輛、人員、交通標志檢測 | 附代碼+數據集

作者：二旺 2024-11-29 16:49:23

開發

本指南適用于使用Linux的用戶，對于Windows用戶，Poetry和Cuda的安裝可能會有所不同。如果你只是想嘗試完成的模型，請選擇選項1。如果你想自己訓練模型，請選擇選項2。

目標檢測在計算機視覺中是一個至關重要的任務，而YOLO（You Only Look Once）因其速度和準確性而脫穎而出。在本指南中，我將帶你了解如何微調一個YOLO模型，以檢測各種道路標志和物體，例如：

車輛
行人
不同顏色的交通燈
人行橫道
速度限制標志
禁止標志
警告標志

本指南適用于使用Linux的用戶。對于Windows用戶，Poetry和Cuda的安裝可能會有所不同。如果你只是想嘗試完成的模型，請選擇選項1。如果你想自己訓練模型，請選擇選項2。

選項1：測試完成的模型

要測試完成的模型，請按照以下步驟操作：

(1) 克隆倉庫：

將GitHub上的倉庫復制到你的本地機器。

git clone https://github.com/Mkoek213/road_detection_model.git

(2) 檢查文件夾：

Models文件夾包含你可以用來的已訓練模型。
test_images文件夾包括用于評估的測試視頻。

(3) 運行代碼：

導航到road_detection_model/road_detection_model目錄，其中包含live.py。

在live.py中，你會發現代碼可以運行模型，無論是在實時網絡攝像頭輸入還是靜態視頻文件上。你可以將設置參數設置為'live'用于網絡攝像頭或'static'用于視頻，并根據需要提供你的視頻文件路徑。該腳本還包括指定模型路徑、類別名稱和其他參數的說明。

選項2：自己訓練模型

按照以下步驟設置你的環境，下載必要的數據，處理它，并訓練你的模型。

1. 設置你的環境

安裝Poetry

Poetry是Python中用于依賴管理和打包的工具。它將幫助我們有效地管理項目的依賴關系。Pipx用于在虛擬環境中隔離的同時全局安裝Python CLI應用程序。

#Install Poetry
pipx install poetry

使用Poetry安裝依賴項：

# Clone project's repository from Github
git clone https://github.com/Mkoek213/road_detection_model.git
cd road_detection_model # navigate to folder
poetry install # poetry will install all dependencies
poetry shell # this command starts the virtual environment with the downloaded dependencies

安裝的項目將包含以下內容：

├── notebooks
│   ├── data
│   │   └── bdd100k.names
│   └── data_processing.ipynb
├── poetry.lock
├── pyproject.toml
├── README.md
└── road_detection_model
    ├── data_finetune.yaml
    ├── data.yaml
    ├── __init__.py
    ├── live.py
    ├── Models
    │   ├── fine_tuned_yolov8s.pt
    │   ├── pre_trained_yolov8s.pt
    │   └── yolov8n.pt
    ├── runs
    │   ├── detect
    │   │   ├── train
    │   │   ├── train2
    │   │   ├── val
    │   │   └── val2
    │   └── fine_tuning
    │       ├── train
    │       ├── train2
    │       └── train3
    ├── test_images
    │   └── test_film.mp4
    ├── train.py
    └── validate.py

將虛擬環境添加到Python內核。要在Jupyter筆記本中使用你的虛擬環境，你需要按照以下步驟操作：

python -m pip install --upgrade pip
pip install ipykernel
python -m ipykernel install --user --name="your venv name"

確保你將內核更改為虛擬環境，如下所示：

(2) 安裝CUDA和cuDNN進行GPU訓練

然后你需要安裝CUDA和cuDNN以在GPU上訓練模型，這將顯著加速整個過程。

安裝CUDA Toolkit：訪問NVIDIA CUDA Toolkit下載頁面，選擇你的操作系統。按照提供的安裝說明進行。
安裝cuDNN：訪問NVIDIA cuDNN下載頁面，下載與你的CUDA安裝兼容的版本。按照提供的安裝說明進行。

2. 下載數據

下載連續預訓練階段所需的數據：下載模型連續預訓練（在已經訓練過的模型上進行遷移學習）所需的數據（來自汽車攝像頭的公開可用圖像，以及用于檢測汽車、人員、交通標志等的標簽）：https://dl.cv.ethz.ch/bdd100k/data/

下載以下文件：

下載后，解壓縮文件并將它們移動到/road_detection_model/notebooks/data 文件夾（在Linux上，你可以使用以下命令）：

cd Downloads
unzip 100k_images_val.zip 
unzip 100k_images_test.zip
unzip 100k_images_train.zip
unzip bdd100k_det_20_labels_trainval.zip
mv ~/Downloads/bdd100k ~/road_detection_model/notebooks/data/

下載微調階段所需的數據

你需要的微調階段數據庫，可以從Kaggle下載：https://www.kaggle.com/datasets/mikoajkoek/traffic-road-object-detection-polish-12k

下載后，解壓縮文件并將它們移動到/road_detection_model/road_detection_model/datasets文件夾（在Linux上，你可以使用以下命令）：

unzip archive.zip
mkdir -p ~/road_detection_model/road_detection_model/datasets
mv ~/Downloads/road_detection ~/road_detection_model/road_detection_model/datasets

3. 處理數據

要使用下載的bdd100k數據庫訓練我們的模型，我們需要將標簽和文件夾結構格式化為YOLO模型接受的格式。當使用Ultralytics YOLO格式時，按照以下方式組織你的訓練和驗證圖像和標簽：

標簽結構如下：

<class_id> <X> <Y> <Width> <Height>

要準備BDD100k數據庫數據以訓練YOLO模型：

啟動Jupyter Notebook：確保你激活了你打算用于這個項目的虛擬環境。
打開筆記本：導航到notebooks文件夾并打開名為data_processing.ipynb的文件。
編譯代碼：逐個執行筆記本單元格，確保每個函數編譯并成功運行。特別注意coco_to_yolo函數：對于訓練數據，設置配置并運行單元格。對于驗證數據，在運行單元格之前，注釋掉訓練數據配置并取消注釋驗證數據配置。

按照這些步驟，BDD100k數據集將被處理并準備好用于YOLO模型訓練。

4. 連續預訓練YOLO模型

在road_detection_model/road_detection_model文件夾中，打開train.py文件。要執行連續預訓練，取消注釋標記為“Pre-training stage”的塊，并注釋掉標記為“Fine-tuning stage”的塊。

使用time參數，你可以為訓練設置特定時長。我訓練模型42小時，結果是69個周期。你可以在road_detection_model/road_detection_model/runs/detect/train2文件夾中找到我用于訓練的參數。

在訓練期間，監控GPU使用情況很有幫助，因為模型訓練應該大量使用GPU。你可以使用以下命令進行：

watch nvidia-smi # real-time stat

watch nvidia-smi # real-time stat

完成模型的選定指標

你可以在road_detection_model/road_detection_model/runs/detect/val目錄中找到所有驗證指標的已訓練模型。

預訓練階段后的混淆矩陣

混淆矩陣顯示模型對每種物體類型的分類準確性：

驗證集的標注圖像

標注圖像顯示模型在驗證集上的預測帶有邊界框：

預訓練后的模型性能指標

在road_detection_model/road_detection_model目錄中，你會找到validate.py文件，它允許你在測試數據集上評估你的訓練模型。

平均精度均值（mAP）：衡量所有類別和IoU閾值的整體檢測準確性。對于我們的模型，mAP是0.231
IoU=0.50時的平均精度（AP50）：在IoU閾值為0.50時的精度分數，為模型的準確性提供標準評估。我們模型的AP50是0.422
F1分數：平衡精確度和召回率，提供單一的性能分數。所有類別的平均F1分數是0.438

5. 在自定義數據集上微調預訓練的YOLO模型

在road_detection_model/road_detection_model文件夾中，打開train.py文件。要執行微調，取消注釋標記為“Fine-tuning stage”的塊，并注釋掉標記為“Pre-training stage”的塊。

由于在過去100個周期中沒有改進（耐心參數），訓練提前停止。在511周期觀察到最佳結果，并在18小時內完成了611個周期。

完成模型的選定指標

可以在road_detection_model/road_detection_model/runs/detect/val2目錄中找到所有驗證指標的已訓練模型。

微調階段后的混淆矩陣

混淆矩陣顯示模型對每種物體類型的分類準確性。