使用 PHP 處理十億行數(shù)據(jù)，如何極致提升處理速度？

譯文精選

作者：劉汪洋 2024-04-23 08:00:00

開發(fā) 前端

如果在閱讀這篇文章之前，你還不了解“十億行挑戰(zhàn)”（ The One Billion Row Challenge，1brc ），我推薦你訪問 Gunnar Morling 的 1brc GitHub 代碼倉庫了解更多詳情。

譯者 | 劉汪洋

審校 | 重樓

我有兩位同事已經(jīng)參與這項(xiàng)挑戰(zhàn)并成功上榜，因此我也選擇加入。

雖然 PHP 的執(zhí)行速度并不出名，但我正開發(fā)一個 PHP 分析器，因此我想親自測試一下 PHP的處理速度。

第一種嘗試：簡單直接的方法

我首先克隆了挑戰(zhàn)的代碼倉庫，并生成了一個包含十億行數(shù)據(jù)的文件measurements.txt。接下來，我開始嘗試第一個解決方案：

<?php

$stations = [];

$fp = fopen('measurements.txt', 'r');

while ($data = fgetcsv($fp, null, ';')) {
    if (!isset($stations[$data[0]])) {
        $stations[$data[0]] = [
            $data[1],
            $data[1],
            $data[1],
            1
        ];
    } else {
        $stations[$data[0]][3]++;
        $stations[$data[0]][2] += $data[1];
        if ($data[1] < $stations[$data[0]][0]) {
            $stations[$data[0]][0] = $data[1];
        }
        if ($data[1] > $stations[$data[0]][1]) {
            $stations[$data[0]][1] = $data[1];
        }
    }
}

ksort($stations);

echo '{';
foreach ($stations as $k => &$station) {
    $station[2] = $station[2] / $station[3];
    echo $k, '=', $station[0], '/', $station[2], '/', $station[1], ', ';
}
echo '}';

這段代碼邏輯簡單明了：打開文件并通過 fgetcsv()讀取數(shù)據(jù)。若之前未記錄過該站點(diǎn)，則創(chuàng)建一個新條目；否則，進(jìn)行計數(shù)器增加、溫度累加，并檢查當(dāng)前溫度是否刷新了最低或最高記錄，如是，則進(jìn)行更新。

處理完所有數(shù)據(jù)后，我使用ksort()對數(shù)組$stations進(jìn)行排序，并輸出每個站點(diǎn)的最低溫度、平均溫度（總溫度/記錄數(shù)）和最高溫度。

令我驚訝的是，在我的筆記本電腦上運(yùn)行這段簡單腳本竟然耗時達(dá)到了25分鐘。

很明顯，我需要對這段代碼進(jìn)行優(yōu)化，并對其進(jìn)行性能分析：

通過可視化的時間線，我們可以分析出腳本運(yùn)行明顯受到 CPU 限制，腳本開始時的文件編譯時間可以忽略不計，且?guī)缀鯖]有垃圾收集事件發(fā)生。

火焰圖清晰地顯示出，fgetcsv()函數(shù)占據(jù)了約 46% 的 CPU 時間。

使用 fgets() 替代 fgetcsv()

為了提升性能，我決定用fgets()替換fgetcsv()函數(shù)來逐行讀取數(shù)據(jù)，并手動按;字符進(jìn)行分割。

// ...
while ($data = fgets($fp, 999)) {
    $pos = strpos($data, ';');
    $city = substr($data, 0, $pos);
    $temp = substr($data, $pos + 1, -1);
// ...

同時，我還把代碼中的$data[0]重命名為$city，$data[1]重命名為$temp，以增強(qiáng)代碼的可讀性。

這個簡單的修改使得腳本運(yùn)行時間大幅減少到 19 分鐘 49 秒，雖然時間仍然較長，但相比之前已經(jīng)減少了 21%。

通過火焰圖的比較，可以看到在替換后 CPU 的時間利用率發(fā)生了變化，詳細(xì)的根幀分析也揭示了具體的性能瓶頸位置：

在腳本的第 18 行和第 23 行花費(fèi)了大約 38% 的CPU時間。

18 | $stations[$city][3]++;
   | // ...
23 | if ($temp > $stations[$city][1]) {

第 18 行是數(shù)組$stations的首次訪問和增量操作，而第 23 行進(jìn)行了一次看似不那么耗時的比較操作。盡管如此，進(jìn)一步優(yōu)化有助于揭示這些操作中潛在的性能開銷。

盡可能使用引用

為了提高性能，我決定在處理數(shù)組時使用引用，以避免每次訪問數(shù)組時都對$stations數(shù)組中的鍵進(jìn)行搜索。這相當(dāng)于為數(shù)組中的"當(dāng)前"站點(diǎn)設(shè)置了一個緩存。

代碼如下：

$station = &$stations[$city];
$station[3]++;
$station[2] += $temp;
// 替代原有的
$stations[$city][3]++;
$stations[$city][2] += $temp;

這一改變實(shí)際上大大減少了執(zhí)行時間，將其縮短到 17 分鐘 48 秒，進(jìn)一步減少了 **10% **的運(yùn)行時間。

條件判斷優(yōu)化

在審查代碼的過程中，我注意到了以下片段：

if ($temp < $station[0]) {
    $station[0] = $temp;
} elseif ($temp > $station[1]) {
    $station[1] = $temp;
}

考慮到一個溫度值如果低于最小值，則不可能同時高于最大值，因此我使用elseif來優(yōu)化條件判斷，這可能會節(jié)省一些 CPU 周期。

需要指出的是，由于我不知道m(xù)easurements.txt中溫度值的排列順序，根據(jù)這個順序，首先檢查最小值還是最大值可能會有所不同。

這次優(yōu)化將時間進(jìn)一步縮短到 17 分鐘 30 秒，節(jié)省了大約 2% 的時間，雖然這個提升并不是非常顯著。

執(zhí)行類型轉(zhuǎn)換

PHP是一種動態(tài)類型語言，我在編程初期非常欣賞它這一特點(diǎn)，因?yàn)樗喕嗽S多問題。然而，另一方面，明確變量類型能幫助解釋引擎更高效地執(zhí)行代碼。

$temp = (float)substr($data, $pos + 1, -1);

令人驚訝的是，這個簡單的類型轉(zhuǎn)換把腳本執(zhí)行時間縮短至 13 分鐘 32 秒，性能提升達(dá)到了驚人的 **21% **！

18 | $station = &$stations[$city];
   | // ...
23 | } elseif ($temp > $station[1]) {

在優(yōu)化后，第 18 行顯示數(shù)組訪問的 CPU 時間消耗從 11% 減少，這是因?yàn)闇p少了在 PHP 的哈希映射（關(guān)聯(lián)數(shù)組的底層數(shù)據(jù)結(jié)構(gòu)）中搜索鍵的次數(shù)。

第 23 行的 CPU 時間從約 32% 減少到約 15%。這是因?yàn)楸苊饬祟愋娃D(zhuǎn)換的開銷。在優(yōu)化之前，$temp、$station[0]和$station[1]是字符串類型，因此 PHP 在每次比較時必須將它們轉(zhuǎn)換為浮點(diǎn)數(shù)。

引入 JIT

在優(yōu)化過程中，我還嘗試啟用了 PHP 的 JIT（即時編譯器），它是 OPCache 的一部分。默認(rèn)情況下，OPCache 在 CLI（命令行界面）模式下被禁用，因此需通過將opcache.enable_cli 設(shè)置為 on來啟用。此外，雖然JIT默認(rèn)為開啟狀態(tài)，但由于緩沖區(qū)大小默認(rèn)設(shè)置為0，實(shí)際上處于禁用狀態(tài)。通過將opcache.jit-buffer-size設(shè)置為10M，我有效地啟用了 JIT。

啟用 JIT 后，腳本執(zhí)行時間驚人地縮減至 7 分鐘 19 秒，速度提升了 45.9%。

進(jìn)一步優(yōu)化

通過這系列優(yōu)化，我將腳本的執(zhí)行時間從最初的 25 分鐘大幅降低到了約 7 分鐘。在這個過程中，我注意到使用fgets()讀取一個 13GB 的文件時，竟然分配了大約 56GiB 每分鐘的 RAM，這顯然是不合理的。經(jīng)過調(diào)查，我發(fā)現(xiàn)省略fgets()的長度參數(shù)可以大量減少內(nèi)存分配：

while ($data = fgets($fp)) {
// 替代之前的
while ($data = fgets($fp, 999)) {

這個簡單變化雖然只使性能提高了約 1%，但將內(nèi)存分配從每分鐘 56GiB 降至每分鐘 6GiB，顯著減少了內(nèi)存占用。這一改進(jìn)雖然對執(zhí)行時間影響不大，但減少內(nèi)存消耗對于大規(guī)模數(shù)據(jù)處理仍然是一個重要的優(yōu)化方向。

以上優(yōu)化展示了在 PHP 性能調(diào)優(yōu)中考慮各種因素的重要性，包括代碼邏輯優(yōu)化、類型明確、JIT編譯以及內(nèi)存管理等，共同作用下可以顯著提升應(yīng)用性能。

還能更快嗎?

到目前為止，我使用的單線程方法，與許多PHP程序默認(rèn)的單線程方式相符，但通過使用parallel 擴(kuò)展，PHP 實(shí)際上能在用戶空間內(nèi)實(shí)現(xiàn)多線程操作。

性能分析明確指出，在 PHP 中進(jìn)行數(shù)據(jù)讀取成為了性能瓶頸。雖然從 fgetcsv() 切換到 fgets() 并手動進(jìn)行字符串分割有所改進(jìn)，但這種方式仍舊相對耗時。因此，我們考慮采用多線程的方式來并行地讀取和處理數(shù)據(jù)，并在之后將各個工作線程的中間結(jié)果合并起來。

<?php

$file = 'measurements.txt';

$threads_cnt = 16;

/**
 * 計算并返回每個線程應(yīng)處理的文件塊的起始和結(jié)束位置。
 * 這些位置將基于 \n 字符進(jìn)行對齊，因?yàn)槲覀兪褂?`fgets()` 進(jìn)行讀取，
 * 它會讀取直到遇到 \n 字符為止。
 *
 * @return array<int, array{0: int, 1: int}>
 */
function get_file_chunks(string $file, int $cpu_count): array {
    $size = filesize($file);

    if ($cpu_count == 1) {
        $chunk_size = $size;
    } else {
        $chunk_size = (int) ($size / $cpu_count);
    }

    $fp = fopen($file, 'rb');

    $chunks = [];
    $chunk_start = 0;
    while ($chunk_start < $size) {
        $chunk_end = min($size, $chunk_start + $chunk_size);

        if ($chunk_end < $size) {
            fseek($fp, $chunk_end);
            fgets($fp); // 將文件指針移動到下一個 \n 字符
            $chunk_end = ftell($fp);
        }

        $chunks[] = [
            $chunk_start,
            $chunk_end
        ];

        $chunk_start = $chunk_end;
    }

    fclose($fp);
    return $chunks;
}

/**
 * 該函數(shù)負(fù)責(zé)打開指定的 `$file` 文件，并從 `$chunk_start` 開始讀取處理數(shù)據(jù)，
 * 直到達(dá)到 `$chunk_end`。
 *
 * 返回的結(jié)果數(shù)組以城市名作為鍵，其值為一個數(shù)組，包含最低溫度（鍵 0）、最高溫度（鍵 1）、
 * 溫度總和（鍵 2）及溫度計數(shù)（鍵 3）。
 *
 * @return array<string, array{0: float, 1: float, 2: float, 3: int}>
 */
$process_chunk = function (string $file, int $chunk_start, int $chunk_end): array {
    $stations = [];
    $fp = fopen($file, 'rb');
    fseek($fp, $chunk_start);
    while ($data = fgets($fp)) {
        $chunk_start += strlen($data);
        if ($chunk_start > $chunk_end) {
            break;
        }
        $pos2 = strpos($data, ';');
        $city = substr($data, 0, $pos2);
        $temp = (float)substr($data, $pos2 + 1, -1);
        if (isset($stations[$city])) {
            $station = &$stations[$city];
            $station[3]++;
            $station[2] += $temp;
            if ($temp < $station[0]) {
                $station[0] = $temp;
            } elseif ($temp > $station[1]) {
                $station[1] = $temp;
            }
        } else {
            $stations[$city] = [
                $temp,
                $temp,
                $temp,
                1
            ];
        }
    }
    return $stations;
};

$chunks = get_file_chunks($file, $threads_cnt);

$futures = [];

for ($i = 0; $i < $threads_cnt; $i++) {
    $runtime = new \parallel\Runtime();
    $futures[$i] = $runtime->run(
        $process_chunk,
        [
            $file,
            $chunks[$i][0],
            $chunks[$i][1]
        ]
    );
}

$results = [];

for ($i = 0; $i < $threads_cnt; $i++) {
    // 等待線程結(jié)果，主線程在此處阻塞直至獲取結(jié)果
    $chunk_result = $futures[$i]->value();
    foreach ($chunk_result as $city => $measurement) {
        if (isset($results[$city])) {
            $result = &$results[$city];
            $result[2] += $measurement[2];
            $result[3] += $measurement[3];
            if ($measurement[0] < $result[0]) {
                $result[0] = $measurement[0];
            }
            if ($measurement[1] > $result[1]) {
                $result[1] = $measurement[1];
            }
        } else {
            $results[$city] = $measurement;
        }
    }
}

ksort($results);

echo '{', PHP_EOL;
foreach ($results as $k => &$station) {
    echo "\t", $k, '=', $station[0], '/', ($station[2] / $station[3]), '/', $station[1], ',', PHP_EOL;
}
echo '}', PHP_EOL;

該段代碼主要執(zhí)行以下操作：首先，它掃描文件并將其分割成以 \n 為界的塊（利用 fgets() 進(jìn)行讀取）。準(zhǔn)備好這些塊后，我啟動了 $threads_cnt 個工作線程，它們分別打開相同的文件并跳轉(zhuǎn)到分配給它們的塊的起始位置，繼續(xù)讀取并處理數(shù)據(jù)直到塊結(jié)束，返回中間結(jié)果。最后，在主線程中合并、排序并輸出這些結(jié)果。

利用多線程處理，這個過程只需：??** 1 分 35 秒** ??

這樣就結(jié)束了？

當(dāng)然沒有。想要進(jìn)一步優(yōu)化至少還需考慮的兩個重要方面：

我在搭載 Apple Silicon 的 MacOS 系統(tǒng)上運(yùn)行這段代碼時發(fā)現(xiàn)，當(dāng)在 PHP 的 ZTS（Zend Thread Safety）版本中啟用 JIT（Just-In-Time 編譯）功能時，程序會遇到崩潰問題。因此，我得到的 1 分 35 秒的執(zhí)行時間是在未啟用 JIT 的情況下測得的。如果能夠啟用 JIT，執(zhí)行速度可能會更快。
我后來意識到，我運(yùn)行的 PHP 版本是使用 CFLAGS="-g -O0 ..." 編譯的，主要是因?yàn)槿粘９ぷ餍枰?/li>

我原本應(yīng)該從一開始就檢查編譯標(biāo)志。因此，我后來使用 CFLAGS="-Os ..." 重新編譯了 PHP 8.3，最終在使用 16 個線程的情況下得到了：

?? 27.7 秒 ??

這個成績無法與原始挑戰(zhàn)榜上的成績直接比較，因?yàn)槲沂窃谕耆煌挠布h(huán)境下運(yùn)行的代碼。

以下是使用 10 個線程時的時間線視圖：

圖示中底部的線程代表主線程，在等待工作線程返回結(jié)果。工作線程一旦返回中間結(jié)果，我們便可見到主線程開始對所有結(jié)果進(jìn)行合并和排序。從中可以明顯看出，主線程并不是性能瓶頸。如果想進(jìn)一步優(yōu)化性能，應(yīng)該集中關(guān)注工作線程的效率。

我從這個過程中學(xué)到了什么？

每一層抽象不僅僅是為了易用性或集成而設(shè)計，同時也以犧牲 CPU 周期或內(nèi)存為代價。fgetcsv() 雖然使用簡便，卻隱藏了很多細(xì)節(jié)，這是有成本的。即便是使用 fgets()，它雖然簡化了數(shù)據(jù)讀取，但也同樣掩蓋了某些操作。
在代碼中添加類型聲明有助于語言優(yōu)化執(zhí)行過程，或避免類型混用所需的 CPU 周期，盡管這些開銷你可能看不見。
JIT 在處理 CPU 密集型任務(wù)時表現(xiàn)出色。

雖然這不是大多數(shù) PHP 應(yīng)用的常態(tài)，但得益于并行化（通過 [ext-parallel] 實(shí)現(xiàn)），我們成功地大幅縮短了處理時間。