成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

日志分析系統Loki使用指南

開發 前端
Loki 利用水平擴展和查詢時間來查詢我們的數據。這與使用多索引的解決方案一樣快嗎?可能不是!但它運行和部署要容易很多,而且還省資源。

與其他日志系統相比, Loki 的使用方式是有一定差異性的,需要用不同的思維方式。本文分享一下這些差異以及我們應該如何使用

作為 Loki 用戶或操作人員,我們目標應該是使用盡可能少的標簽來存儲日志。

更少的標簽則意味著更小的索引,從而能帶來更好的性能。

以上這些話聽起來可能覺得有問題。因為在我們以往工作中比如使用 elk、數據庫的經驗告訴我們,如果想讓它更快,需要對其建立索引。而Loki 是以完全相反的方式構建和優化的, Loki 的設計目標是保持較低的運營成本和復雜性,這是通過保持非常小的索引并利用商用硬件性能和并行化查詢來實現的。

因此,作為 Loki 的用戶或操作員,在添加標簽之前我一定要三思而后行。

如何查詢給定traceID 的所有日志?

ts=2020-08-25T16:55:42.986960888Z caller=spanlogger.go:53 org_id=29 traceID=2612c3ff044b7d02 method=Store.lookupIdsByMetricNameMatcher level=debug matcher="pod=\"loki-canary-25f2k\"" queries=16

我們可能會想,應該提取traceID作為標簽,然后可以這樣查詢:

{cluster="ops-cluster-1",namespace="loki-dev", traceID=”2612c3ff044b7d02”}

但不建議這么做,這種方式會導致Loki 查詢效率很低,因為它的值就是個無界的,每次請求都會產生新的traceID,這種情況屬于典型無界的動態標簽值,在Loki里面用Cardinality來表示,Cardinality值越高,Loki的查詢效率越低。如果想在日志中查找高基數數據,請使用如下過濾表達式:

{cluster="ops-cluster-1",namespace="loki-dev"} |= “traceID=2612c3ff044b7d02”

提取的內容基數低,能否提取到標簽中?

比如日志級別,只有幾個固定值

{cluster="ops-cluster-1",namespace="loki-dev", level=”debug”}

這里也要注意!因為標簽對索引和存儲具有倍增效應,剛開始的一個日志流,如果使用日志級別標簽后,現在已變成4個日志流,所以在我們添加標簽時要考慮這些,以下是一個示意圖

圖片圖片

盡量使用靜態標簽

靜態標簽開銷更小,在發送到Loki之前,就會獲取相關 lablel,在k8s 中通過 helm 部署,默認采集以下靜態標簽

  • 應用名:__meta_kubernetes_pod_label_app
  • 命名空間:__meta_kubernetes_namespace
  • 節點名稱:__meta_kubernetes_pod_node_name
  • pod名稱:__meta_kubernetes_pod_name
  • 容器名稱:__meta_kubernetes_pod_container_name

圖片圖片

使用并行化來提高Loki 性能

使用大量數值的標簽是不好的,那么我們如何查詢日志?如果沒有日志沒有索引,查詢能快嗎?

在我們使用ELK 或者其他日志系統時,我們會創建大量的索引來提高查詢速度,但是在 loki 中我們需要忘記這些東西

因為loki 是通過并行化的方式來提交查詢速度的。

圖片圖片

Loki 的超能力是將查詢分解成小塊,并將其并行調度,這樣就可以在小時間內查詢大量的日志數據,最后在進行匯總返回

總結

Loki 利用水平擴展和查詢時間來查詢我們的數據。這與使用多索引的解決方案一樣快嗎?可能不是!但它運行和部署要容易很多,而且還省資源。

Grafana Lab 的 Loki 部分集群的數據,在過去 7 天內,它攝入了 14TB 的數據。該時間段對應的索引使用量約為500MB;14TB 日志的索引可以放入樹莓派的內存中。

這就是為什么Loki專注于保持標簽集較小的原因。也許標簽只能將搜索范圍縮小到 100GB 的日志數據 —但是運行 20 個查詢器(可以以 30GB/s 的速度并行搜索 100GB 數據)比維護一個 14TB 索引要便宜得多,尤其是當我們使用不了幾次的時候。

因此,更少的標簽 = 更好的性能。

責任編輯:武曉燕 來源: 架構成長指南
相關推薦

2022-09-29 09:07:08

DataGrip數據倉庫數據庫

2021-06-02 06:02:50

Loki 源碼分析日志

2025-01-13 07:23:14

PythonAeon開發

2021-07-27 10:09:27

鴻蒙HarmonyOS應用

2011-07-21 14:57:34

jQuery Mobi

2010-09-06 14:24:28

ppp authent

2009-12-28 17:40:10

WPF TextBox

2012-12-26 12:41:14

Android開發WebView

2025-02-10 02:00:00

2017-01-04 15:22:57

TrimPath模板引擎

2010-06-03 17:27:36

Hadoop命令

2010-08-04 15:37:31

Flex圖表

2010-08-05 15:40:21

FlexBuilder

2009-12-31 17:17:45

Silverlight

2021-01-12 15:19:23

Kubernetes

2022-12-29 08:00:26

Loki網絡設備

2023-12-25 11:18:12

OpenTeleme應用日志Loki

2010-08-04 14:28:01

Flex組件

2019-11-13 12:39:26

Python 開發編程語言

2022-06-23 08:01:36

FlaskSocketIOSwift
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 91亚洲国产成人久久精品网站 | 国产精品久久a | 午夜精品久久久久久久久久久久久 | 四虎最新| 欧美精品一区二区三区在线播放 | 欧美黑人激情 | 在线播放一区 | 日日夜夜影院 | 欧美日韩国产精品一区二区 | 欧美日韩精品一区二区三区四区 | 少妇久久久久 | 欧美精品一区二区三区四区 在线 | 久久久久久蜜桃一区二区 | 亚洲精品在线视频 | 久久精品欧美一区二区三区麻豆 | 一级欧美日韩 | 亚洲天堂日韩精品 | 成人黄色a| 亚洲欧美日韩精品久久亚洲区 | 狠狠狠色丁香婷婷综合久久五月 | 日韩电影中文字幕在线观看 | 日本久久精品视频 | 久久久精品一区 | 成人国产精品免费观看视频 | 精品国产伦一区二区三区观看说明 | 日本在线精品视频 | 成人免费观看视频 | 一区二区三区四区电影视频在线观看 | 黄色在线免费观看视频 | 欧美精品1区2区3区 免费黄篇 | 欧美久久久久久久 | 欧洲av一区 | 日韩精品视频在线播放 | 欧美 日韩 国产 成人 在线 | 成年人在线观看 | 国产福利在线视频 | 午夜综合| 免费视频二区 | 91大神xh98xh系列全部 | 婷婷在线免费 | 亚洲精品一区中文字幕乱码 |