多線程技術應用之并行下載并通知運行狀態
場景描述：
在面對需要下載大量文件或同時執行大量任務的挑戰時，多線程技術成為提高效率的關鍵工具。這種方法就像優化了的生產線，各個部分同步協作，使整體工作更為流暢和迅速。
想象一下，你面臨一個包含1,000個文件下載或者有多個可以并行處理的任務的時候。在傳統的單線程模型中，這將是一個漫長的等待過程。但通過多線程，我們可以將這個大任務拆分成多個小任務并行執行，從而大大縮短完成時間，提高整體效率。
然而，僅僅完成任務是不夠的。為了確保用戶和其他相關方實時了解進展情況，我們需要一個高效的進度跟蹤和報告機制。這可以通過建立實時監控系統或利用進度條、日志和通知來實現。這樣用戶，都可以在任何時候了解項目的當前狀態和預期進度。
下面就思考兩種實現方式：多線程和并行庫的用法。主要是體會使用模型的使用。
多線程處理實現過程：
示例代碼：
using System;
using System.Threading;
using System.Threading.Tasks;
class Program
{
static int currentFile = 0;
static object lockObject = new object();
static void Main(string[] args)
{
const int NUM_FILES = 1000;
const int NUM_THREADS = 20;
// 創建一個計數器，以便在所有線程完成后更新狀態。
CountdownEvent countdown = new CountdownEvent(NUM_THREADS);
// 創建20個下載線程
for (int i = 0; i < NUM_THREADS; i++)
{
int threadIndex = i;
Task.Run(() =>
{
// 模擬下載過程
for (int j = threadIndex; j < NUM_FILES; j += NUM_THREADS)
{
DownloadFile(j);
ReportProgress(NUM_FILES); // 報告下載進度
}
// 當前線程完成下載，向計數器發信號。
countdown.Signal();
});
}
// 等待所有線程完成
countdown.Wait();
// 所有線程都已完成，將狀態標記為已完成。
Console.WriteLine("所有文件下載已完成！");
}
static void DownloadFile(int fileIndex)
{
// 模擬下載過程
Thread.Sleep(100); // 假設每個文件需要10毫秒下載
Console.WriteLine($"文件 #{fileIndex} 已下載完畢！");
}
static void ReportProgress(int NUM_FILES)
{
lock(lockObject)
{
int current = Interlocked.Increment(ref currentFile);
Console.WriteLine($"當前進度：{current}/{NUM_FILES}");
}
}
}
定義常量：NUM_FILES表示總文件數量，這里設定為1000。NUM_THREADS表示線程數量，這里設定為20。
創建一個CountdownEvent對象countdown，用于在所有線程完成后更新狀態。
創建20個下載線程：
- 使用Task.Run()創建一個任務，并在每個任務中執行相應的操作。
- 每個線程根據索引threadIndex來決定從哪個文件開始下載，通過循環遞增NUM_THREADS來實現線程間的文件分配。
- 在循環中調用DownloadFile()方法來模擬下載文件，并在下載完成后調用ReportProgress()方法報告下載進度。
- 當線程完成下載后，通過countdown.Signal()向計數器發信號。
使用countdown.Wait()等待所有線程完成。
所有線程都已完成，輸出提示信息：“所有文件下載已完成！”
DownloadFile()方法模擬文件下載過程：使用Thread.Sleep()方法來模擬下載耗時，這里假設每個文件需要100毫秒下載。輸出下載完畢的文件信息。
ReportProgress()方法用于報告下載進度：
- 使用lock語句加鎖，確保多個線程同時操作currentFile變量時不會產生競爭條件。
- 使用Interlocked.Increment()原子地遞增currentFile變量，獲取當前下載的文件數。
- 輸出當前下載進度信息。
總體而言，該程序通過創建多個線程來并行下載文件，并使用計數器來跟蹤所有線程的完成狀態。每個線程負責下載部分文件，并在完成后報告當前的下載進度。最后，當所有線程都完成時，輸出下載完成的提示信息。
使用并行庫的處理過程：
示例代碼：
using System;
using System.Threading.Tasks;
using System.Collections.Concurrent;
class Program
{
static int currentFile = 0;
static object lockObject = new object();
static void Main(string[] args)
{
const int NUM_FILES = 1000;
// 使用ParallelOptions來跟蹤并行任務的進度
var parallelOptions = new ParallelOptions
{
MaxDegreeOfParallelism = 20 // 設置最大并行度
};
// 使用Parallel.ForEach并行下載文件
Parallel.ForEach(
Partitioner.Create(0, NUM_FILES), // 使用分區器創建任務范圍
parallelOptions,
(range, loopState) =>
{
for (int j = range.Item1; j < range.Item2; j++)
{
DownloadFile(j);
ReportProgress(NUM_FILES); // 報告下載進度
}
});
// 所有任務完成后輸出信息
Console.WriteLine("所有文件下載已完成！");
}
static void DownloadFile(int fileIndex)
{
// 模擬下載過程
Task.Delay(100).Wait(); // 假設每個文件需要100毫秒下載
Console.WriteLine($"文件 #{fileIndex} 已下載完畢！");
}
static void ReportProgress(int NUM_FILES)
{
lock(lockObject)
{
int current = Interlocked.Increment(ref currentFile);
Console.WriteLine($"當前進度：{current}/{NUM_FILES}");
}
}
}
初始化并行任務：使用并行庫，你可以利用Parallel.For或Parallel.ForEach來簡化并行任務的創建和管理。這些方法會自動處理任務的分發和管理，無需手動管理線程。
分發任務：Parallel.For或Parallel.ForEach會根據可用的處理器核心數或任務的工作量自動分發任務。你只需指定任務的起始和結束范圍。
報告進度：由于Parallel類提供了內置的機制來跟蹤任務的進度，所以你可能需要使用ParallelOptions和ParallelLoopState來跟蹤和報告任務的進度。
在這個版本中，我們使用Parallel.ForEach來并行處理文件的下載任務。我們使用了Partitioner.Create來創建任務的范圍，并使用ParallelOptions來控制并行度。此外，進度報告也被稍微簡化，因為Parallel類本身提供了一個更簡潔的方法來處理這種情況。
