Elasticsearch 是一個功能強大的搜索和分析引擎，能夠快速存儲、搜索和分析海量數據。

在 Elasticsearch 的核心組件中，索引性能至關重要。索引（動詞）過程負責將數據添加到 Elasticsearch 中，而索引性能的好壞直接影響到搜索查詢的效率。

本文將分享提升 Elasticsearch 索引性能的 10 個實用技巧，幫助大家更高效地使用 Elasticsearch。

你一共用到幾個？有沒有更好的使用小技巧？歡迎留言補充交流。

1. 選擇合適的硬件

要提升 Elasticsearch 的索引性能，首先需要確保硬件配置到位。

Elasticsearch 對內存 (RAM)、CPU 和 磁盤 I/O 的依賴性較高，因此選擇合適的硬件至關重要。建議選擇具備充足內存和 CPU 資源的服務器，并優先使用 SSD 磁盤以提高磁盤 I/O 性能，從而減少索引時間。

Elasticsearch 官方文檔強調：

• 搜索性能受存儲和計算資源的影響較大。如果搜索受限于I/O，建議增大文件系統緩存或使用更快的存儲設備（如SSD）；
• 若受限于CPU，則應使用更快的處理器。
• 相比遠程存儲，本地直連存儲通常性能更佳，配置更簡單，延遲更低。遠程存儲在高負載下性能可能較差，但經過優化后也能達到可接受的效果。
• 在確定存儲架構前，應通過基準測試評估實際負載下的性能，并根據需要與供應商合作進行調優。https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-search-speed.html

2. 使用 Bulk API 批量索引

Elasticsearch 提供了一個 Bulk API，允許在單次請求中索引多個文檔。與一次索引一個文檔相比，批量索引能顯著提高性能，因為減少了網絡往返的開銷，提高了索引過程的效率。

Elasticsearch 官方文檔強調：

• 建議在單節點、單分片上進行基準測試，逐步增加批量請求的文檔數量（100、200、400等）以找到最佳批量大小。

圖片

圖示僅供參考遞增批量值

• 當索引速度趨于平穩時，即為最佳值。
• 若數據量相近，寧可選擇較小批次，以避免內存壓力。
• 通常批量請求不宜超過幾十 MB，否則可能會對集群造成內存負擔。

3. 在批量索引時禁用刷新

Elasticsearch 默認每秒刷新索引一次，這意味著每次添加新文檔后，索引會立即可搜索。

然而，在批量索引時，這種行為會顯著降低索引性能。

在進行大量數據寫入時，可以暫時禁用自動刷新，待批量索引完成后再啟用。

# 禁用刷新
PUT /my_index/_settings
{
  "refresh_interval": "-1"
}

# 完成批量索引后重新啟用
PUT /my_index/_settings
{
  "refresh_interval": "30s"
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-for-indexing-speed.html

4. 調整刷新間隔

除了在批量索引時禁用刷新外，還可以通過增加默認的刷新間隔來提升索引性能。減少 Elasticsearch 每秒的刷新次數，可以降低系統的開銷，從而提高索引速度。

不過，需要注意的是，刷新間隔增加后，新添加的文檔不會立即可見，因此在某些實時性要求較高的場景中需要謹慎調整。

正確做法建議：在數據加載階段將 refresh_interval 設置為較高值，例如 30s，完成后再恢復到默認值 1s。

5. 優化文檔設計

文檔的設計對索引性能有很大影響。避免使用過于龐大和復雜的文檔，盡量減少嵌套字段的使用，尤其是深層嵌套結構，因為它們會顯著降低索引速度。

干貨 | Elasticsearch 索引設計實戰指南

Elasticsearch Nested 選型，先看這一篇！

正確做法：

• 盡量減少文檔大小（不要過大，比如：一本書導入一個文檔），避免過多的嵌套。
• 僅保留必要的字段，避免存儲多余信息。

6. 減少索引的字段數量

過多的字段會顯著增加索引的時間，因為 Elasticsearch 需要對每個字段進行分析和映射。

僅索引需要用于搜索的字段，其余字段可以設置為 index: false。

PUT /my_index
{
  "mappings": {
    "properties": {
      "description": { "type": "text" },
      "comments": { "type": "text", "index": false } # 不需要搜索的字段
    }
  }
}

正確做法建議：減少不必要的字段，僅對需要搜索和聚合的字段進行索引。

7. 優化磁盤性能

Elasticsearch 的主分片數據會寫入節點的文件系統，因此磁盤速度對索引性能有重要影響。

選擇速度快、容量大的磁盤，如 SSD，可以顯著提升索引效率。——多么正確的廢話！但是很多咨詢的球友企業不提供硬件支撐，在機械磁盤做再足優化也無濟于事。

圖示僅為方便大家直觀認知

正確做法建議：盡量使用 NVMe SSD，尤其是在處理大量日志或時間序列數據時。

8. 索引生命周期 ILM 管理

當一個索引過大時，管理起來會變得困難，導致搜索和索引性能下降。可以考慮將索引分為每日或每周的索引，這在處理時間序列數據（如日志事件）時尤其有用。

Elasticsearch ILM 索引生命周期管理常見坑及避坑指南

視頻 | Elasticsearch ILM索引生命周期管理

干貨 | Elasticsearch 索引生命周期管理 ILM 實戰指南

干貨 | Elasticsearch索引生命周期管理探索（rollover 5.X 版本階段）

圖片

正確做法：

對于日志數據，使用按日期滾動的索引，如

logs-2024-11-01、
logs-2024-11-02。

定期刪除過期的索引以釋放存儲空間。

9. 防止映射爆炸

如果使用動態映射，可能會導致字段數量過多，從而引發映射爆炸的問題。

建議定義顯式映射來控制字段數量，避免自動檢測新字段。

PUT /my_index
{
  "mappings": {
    "dynamic": "strict", # 禁止自動添加字段
    "properties": {
      "user": { "type": "keyword" },
      "message": { "type": "text" }
    }
  }
}

正確做法：使用 dynamic: strict 控制自動映射。

定期清理不再使用的字段。

10. 優化 Translog 性能

在Elasticsearch 8.x中，調整translog（事務日志）設置可以提高性能和數據持久性。主要設置包括：

translog的持久性（index.translog.durability）、

同步間隔（index.translog.sync_interval）、

刷新閾值大?。╥ndex.translog.flush_threshold_size）。

通過合理配置這些參數，可以在保證數據安全的同時，優化系統性能。

以下是優化 Elasticsearch 8.x 中 Translog 性能的推薦配置：

小結

Elasticsearch 是處理大規模數據的必備工具，但要充分發揮其性能，必須優化索引過程。通過遵循上述 10 個技巧，你可以顯著提升 Elasticsearch 的索引效率，從而提高搜索和分析的能力。