成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Docker安裝ELK并實現JSON格式日志分析

作者：我的小熊不見了
開發 后端
ELK是elastic公司提供的一套完整的日志收集以及前端展示的解決方案，是三個產品的首字母縮寫，分別是ElasticSearch、Logstash和Kibana。

ELK是什么

ELK是elastic公司提供的一套完整的日志收集以及前端展示的解決方案，是三個產品的首字母縮寫，分別是ElasticSearch、Logstash和Kibana。

其中Logstash負責對日志進行處理，如日志的過濾、日志的格式化等；ElasticSearch具有強大的文本搜索能力，因此作為日志的存儲容器；而Kibana負責前端的展示。

ELK搭建架構如下圖：

加入了filebeat用于從不同的客戶端收集日志，然后傳遞到Logstash統一處理。

ELK的搭建

因為ELK是三個產品，可以選擇依次安裝這三個產品。

這里選擇使用Docker安裝ELk。

Docker安裝ELk也可以選擇分別下載這三個產品的鏡像并運行，但是本次使用直接下載elk的三合一鏡像來安裝。

因此首先要保證已經有了Docker的運行環境，Docker運行環境的搭建請查看：https://blog.csdn.net/qq13112...

拉取鏡像

有了Docker環境之后，在服務器運行命令：

  1. docker pull sebp/elk 

這個命令是在從Docker倉庫下載elk三合一的鏡像，總大小為2個多G，如果發現下載速度過慢，可以將Docker倉庫源地址替換為國內源地址。

下載完成之后，查看鏡像：

  1. docker images 

Logstash配置

在/usr/config/logstash目錄下新建beats-input.conf，用于日志的輸入： 

  1. input {  
  2.   beats {  
  3.     port => 5044  
  4.   }  
  5. } 

新建output.conf，用于日志由Logstash到ElasticSearch的輸出： 

  1. output {  
  2.   elasticsearch {  
  3.     hosts => ["localhost"]  
  4.     manage_template => false  
  5.     index => "%{[@metadata][beat]}"  
  6.   }  
  7. } 

其中的index為輸出到ElasticSearch后的index。

運行容器

有了鏡像之后直接啟動即可：

  1. docker run -d -p 5044:5044 -p 5601:5601 -p 9203:9200 -p 9303:9300 -v /var/data/elk:/var/lib/elasticsearch -v /usr/config/logstash:/etc/logstash/conf.d --name=elk sebp/elk 

-d的意思是后臺運行容器；

-p的意思是宿主機端口:容器端口，即將容器中使用的端口映射到宿主機上的某個端口，ElasticSearch的默認端口是9200和9300，由于我的機器上已經運行了3臺ElasticSearch實例，因此此處將映射端口進行了修改；

-v的意思是宿主機的文件|文件夾:容器的文件|文件夾，此處將容器中elasticsearch 的數據掛載到宿主機的/var/data/elk上，以防容器重啟后數據的丟失；并且將logstash的配置文件掛載到宿主機的/usr/config/logstash目錄。

--name的意思是給容器命名，命名是為了之后操作容器更加方便。

如果你之前搭建過ElasticSearch的話，會發現搭建的過程中有各種錯誤，但是使用docker搭建elk的過程中并沒有出現那些錯誤。

運行后查看容器：

  1. docker ps 

查看容器日志：

  1. docker logs -f elk 

進入容器：

  1. docker exec -it elk /bin/bash 

修改配置后重啟容器：

  1. docker restart elk 

查看kinaba

瀏覽器輸入http://my_host:5601/

即可看到kinaba界面。此時ElasticSearch中還沒有數據，需要安裝Filebeat采集數據到elk中。

Filebeat搭建

Filebeat用于采集數據并上報到Logstash或者ElasticSearch，在需要采集日志的服務器上下載Filebeat并解壓即可使用

 

  1. wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.1-linux-x86_64.tar.gz  
  2. tar -zxvf filebeat-6.2.1-linux-x86_64.tar.gz 

 

修改配置文件

進入filebeat，修改filebeat.yml。 

  1. filebeat.prospectors:  
  2. - type: log  
  3.   #需要設置為true配置才能生效  
  4.   enabled: true  
  5.   path:  
  6.     #配置需要采集的日志路徑  
  7.     - /var/log/*.log  
  8.   #可以打一個tag以后分類使用  
  9.   tag: ["my_tag"]  
  10.   #對應ElasticSearch的type  
  11.   document_type: my_type  
  12. setup.kibana:  
  13.   #此處為kibana的ip及端口，即kibana:5601  
  14.   host: ""  
  15. output.logstash:  
  16.   #此處為logstash的ip及端口，即logstash:5044  
  17.   host: [""]  
  18.   #需要設置為true，否則不生效  
  19.   enabled: true  
  20. #如果想直接從Filebeat采集數據到ElasticSearch，則可以配置output.elasticsearch的相關配置 

運行Filebeat

運行：

  1. ./filebeat -e -c filebeat.yml -d "publish" 

此時可以看到Filebeat會將配置的path下的log發送到Logstash；然后在elk中，Logstash處理完數據之后就會發送到ElasticSearch。但我們想做的是通過elk進行數據分析，因此導入到ElasticSearch的數據必須是JSON格式的。

這是之前我的單條日志的格式：

  1. 2019-10-22 10:44:03.441 INFO rmjk.interceptors.IPInterceptor Line:248 - {"clientType":"1","deCode":"0fbd93a286533d071","eaType":2,"eaid":191970823383420928,"ip":"xx.xx.xx.xx","model":"HONOR STF-AL10","osType":"9","path":"/applicationEnter","result":5,"session":"ef0a5c4bca424194b29e2ff31632ee5c","timestamp":1571712242326,"uid":"130605789659402240","v":"2.2.4"} 

導入之后不好分析，之后又想到使用Logstash的filter中的grok來處理日志使之變成JSON格式之后再導入到ElasticSearch中，但是由于我的日志中的參數是不固定的，發現難度太大了，于是轉而使用Logback，將日志直接格式化成JSON之后，再由Filebeat發送。

Logback配置

我的項目是Spring Boot，在項目中加入依賴： 

  1. <dependency>  
  2.   <groupId>net.logstash.logback</groupId>  
  3.   <artifactId>logstash-logback-encoder</artifactId>  
  4.   <version>5.2</version>  
  5. </dependency> 

然后在項目中的resource目錄下加入logback.xml： 

  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <configuration>  
  3.     <!--  
  4.        說明：  
  5.        1、日志級別及文件  
  6.            日志記錄采用分級記錄，級別與日志文件名相對應，不同級別的日志信息記錄到不同的日志文件中  
  7.            例如：error級別記錄到log_error_xxx.log或log_error.log（該文件為當前記錄的日志文件），而log_error_xxx.log為歸檔日志，  
  8.            日志文件按日期記錄，同一天內，若日志文件大小等于或大于2M，則按0、1、2...順序分別命名  
  9.            例如log-level-2013-12-21.0.log  
  10.            其它級別的日志也是如此。  
  11.        2、文件路徑  
  12.            若開發、測試用，在Eclipse中運行項目，則到Eclipse的安裝路徑查找logs文件夾，以相對路徑../logs。  
  13.            若部署到Tomcat下，則在Tomcat下的logs文件中  
  14.        3、Appender  
  15.            FILEERROR對應error級別，文件名以log-error-xxx.log形式命名  
  16.            FILEWARN對應warn級別，文件名以log-warn-xxx.log形式命名  
  17.            FILEINFO對應info級別，文件名以log-info-xxx.log形式命名  
  18.            FILEDEBUG對應debug級別，文件名以log-debug-xxx.log形式命名  
  19.            stdout將日志信息輸出到控制上，為方便開發測試使用  
  20.     -->  
  21.     <contextName>service</contextName>  
  22.     <property name="LOG_PATH" value="logs"/>  
  23.     <!--設置系統日志目錄-->  
  24.     <property name="APPDIR" value="doctor"/>  
  25.     <!-- 日志記錄器，日期滾動記錄 -->  
  26.     <appender name="FILEERROR" class="ch.qos.logback.core.rolling.RollingFileAppender">  
  27.         <!-- 正在記錄的日志文件的路徑及文件名 -->  
  28.         <file>${LOG_PATH}/${APPDIR}/log_error.log</file>  
  29.         <!-- 日志記錄器的滾動策略，按日期，按大小記錄 -->  
  30.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">  
  31.             <!-- 歸檔的日志文件的路徑，例如今天是2013-12-21日志，當前寫的日志文件路徑為file節點指定，可以將此文件與file指定文件路徑設置為不同路徑，從而將當前日志文件或歸檔日志文件置不同的目錄。 
  32.              而2013-12-21的日志文件在由fileNamePattern指定。%d{yyyy-MM-dd}指定日期格式，%i指定索引 -->  
  33.             <fileNamePattern>${LOG_PATH}/${APPDIR}/error/log-error-%d{yyyy-MM-dd}.%i.log</fileNamePattern>  
  34.             <!-- 除按日志記錄之外，還配置了日志文件不能超過2M，若超過2M，日志文件會以索引0開始，  
  35.             命名日志文件，例如log-error-2013-12-21.0.log -->  
  36.             <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">  
  37.                 <maxFileSize>2MB</maxFileSize>  
  38.             </timeBasedFileNamingAndTriggeringPolicy>  
  39.         </rollingPolicy>  
  40.         <!-- 追加方式記錄日志 -->  
  41.         <append>true</append>  
  42.         <!-- 日志文件的格式 -->  
  43.         <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">  
  44.             <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger Line:%-3L - %msg%n</pattern>  
  45.             <charset>utf-8</charset>  
  46.         </encoder>  
  47.         <!-- 此日志文件只記錄info級別的 -->  
  48.         <filter class="ch.qos.logback.classic.filter.LevelFilter">  
  49.             <level>error</level>  
  50.             <onMatch>ACCEPT</onMatch>  
  51.             <onMismatch>DENY</onMismatch>  
  52.         </filter>  
  53.     </appender>  
  54.     <!-- 日志記錄器，日期滾動記錄 -->  
  55.     <appender name="FILEWARN" class="ch.qos.logback.core.rolling.RollingFileAppender">  
  56.         <!-- 正在記錄的日志文件的路徑及文件名 -->  
  57.         <file>${LOG_PATH}/${APPDIR}/log_warn.log</file>  
  58.         <!-- 日志記錄器的滾動策略，按日期，按大小記錄 -->  
  59.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">  
  60.             <!-- 歸檔的日志文件的路徑，例如今天是2013-12-21日志，當前寫的日志文件路徑為file節點指定，可以將此文件與file指定文件路徑設置為不同路徑，從而將當前日志文件或歸檔日志文件置不同的目錄。 
  61.              而2013-12-21的日志文件在由fileNamePattern指定。%d{yyyy-MM-dd}指定日期格式，%i指定索引 -->  
  62.             <fileNamePattern>${LOG_PATH}/${APPDIR}/warn/log-warn-%d{yyyy-MM-dd}.%i.log</fileNamePattern>  
  63.             <!-- 除按日志記錄之外，還配置了日志文件不能超過2M，若超過2M，日志文件會以索引0開始，  
  64.             命名日志文件，例如log-error-2013-12-21.0.log -->  
  65.             <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">  
  66.                 <maxFileSize>2MB</maxFileSize>  
  67.             </timeBasedFileNamingAndTriggeringPolicy>  
  68.         </rollingPolicy>  
  69.         <!-- 追加方式記錄日志 -->  
  70.         <append>true</append>  
  71.         <!-- 日志文件的格式 -->  
  72.         <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">  
  73.             <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger Line:%-3L - %msg%n</pattern>  
  74.             <charset>utf-8</charset>  
  75.         </encoder>  
  76.         <!-- 此日志文件只記錄info級別的 -->  
  77.         <filter class="ch.qos.logback.classic.filter.LevelFilter">  
  78.             <level>warn</level>  
  79.             <onMatch>ACCEPT</onMatch>  
  80.             <onMismatch>DENY</onMismatch>  
  81.         </filter>  
  82.     </appender>  
  83.     <!-- 日志記錄器，日期滾動記錄 -->  
  84.     <appender name="FILEINFO" class="ch.qos.logback.core.rolling.RollingFileAppender">  
  85.         <!-- 正在記錄的日志文件的路徑及文件名 --> 
  86.          <file>${LOG_PATH}/${APPDIR}/log_info.log</file>  
  87.         <!-- 日志記錄器的滾動策略，按日期，按大小記錄 -->  
  88.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">  
  89.             <!-- 歸檔的日志文件的路徑，例如今天是2013-12-21日志，當前寫的日志文件路徑為file節點指定，可以將此文件與file指定文件路徑設置為不同路徑，從而將當前日志文件或歸檔日志文件置不同的目錄。 
  90.              而2013-12-21的日志文件在由fileNamePattern指定。%d{yyyy-MM-dd}指定日期格式，%i指定索引 -->  
  91.             <fileNamePattern>${LOG_PATH}/${APPDIR}/info/log-info-%d{yyyy-MM-dd}.%i.log</fileNamePattern>  
  92.             <!-- 除按日志記錄之外，還配置了日志文件不能超過2M，若超過2M，日志文件會以索引0開始，  
  93.             命名日志文件，例如log-error-2013-12-21.0.log -->  
  94.             <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">  
  95.                 <maxFileSize>2MB</maxFileSize>  
  96.             </timeBasedFileNamingAndTriggeringPolicy>  
  97.         </rollingPolicy>  
  98.         <!-- 追加方式記錄日志 -->  
  99.         <append>true</append>  
  100.         <!-- 日志文件的格式 -->  
  101.         <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">  
  102.             <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger Line:%-3L - %msg%n</pattern>  
  103.             <charset>utf-8</charset>  
  104.         </encoder>  
  105.         <!-- 此日志文件只記錄info級別的 -->  
  106.         <filter class="ch.qos.logback.classic.filter.LevelFilter">  
  107.             <level>info</level>  
  108.             <onMatch>ACCEPT</onMatch>  
  109.             <onMismatch>DENY</onMismatch>  
  110.         </filter>  
  111.     </appender>  
  112.     <appender name="jsonLog" class="ch.qos.logback.core.rolling.RollingFileAppender">  
  113.         <!-- 正在記錄的日志文件的路徑及文件名 -->  
  114.         <file>${LOG_PATH}/${APPDIR}/log_IPInterceptor.log</file>  
  115.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">  
  116.             <fileNamePattern>${LOG_PATH}/${APPDIR}/log_IPInterceptor.%d{yyyy-MM-dd}.log</fileNamePattern>  
  117.         </rollingPolicy>  
  118.         <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">  
  119.             <jsonFactoryDecorator class="net.logstash.logback.decorate.CharacterEscapesJsonFactoryDecorator">  
  120.                 <escape>  
  121.                     <targetCharacterCode>10</targetCharacterCode>  
  122.                     <escapeSequence>\u2028</escapeSequence>  
  123.                 </escape>  
  124.             </jsonFactoryDecorator>  
  125.             <providers>  
  126.                 <pattern>  
  127.                     <pattern>  
  128.                         {  
  129.                         "timestamp":"%date{ISO8601}",  
  130.                         "uid":"%mdc{uid}",  
  131.                         "requestIp":"%mdc{ip}",  
  132.                         "id":"%mdc{id}",  
  133.                         "clientType":"%mdc{clientType}",  
  134.                         "v":"%mdc{v}",  
  135.                         "deCode":"%mdc{deCode}",  
  136.                         "dataId":"%mdc{dataId}",  
  137.                         "dataType":"%mdc{dataType}",  
  138.                         "vid":"%mdc{vid}",  
  139.                         "did":"%mdc{did}",  
  140.                         "cid":"%mdc{cid}",  
  141.                         "tagId":"%mdc{tagId}"  
  142.                         }  
  143.                     </pattern>  
  144.                 </pattern>  
  145.             </providers>  
  146.         </encoder>  
  147.     </appender>  
  148.     <!-- 彩色日志 -->  
  149.     <!-- 彩色日志依賴的渲染類 -->  
  150.     <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>  
  151.     <conversionRule conversionWord="wex"  
  152.                     converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>  
  153.     <conversionRule conversionWord="wEx"  
  154.                     converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>  
  155.     <!-- 彩色日志格式 -->  
  156.     <property name="CONSOLE_LOG_PATTERN"  
  157.               value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/> 
  158.      <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">  
  159.         <!--encoder 默認配置為PatternLayoutEncoder-->  
  160.         <encoder>  
  161.             <pattern>${CONSOLE_LOG_PATTERN}</pattern>  
  162.             <charset>utf-8</charset>  
  163.         </encoder>  
  164.         <!--此日志appender是為開發使用，只配置最底級別，控制臺輸出的日志級別是大于或等于此級別的日志信息-->  
  165.         <filter class="ch.qos.logback.classic.filter.ThresholdFilter">  
  166.             <level>debug</level>  
  167.         </filter>  
  168.     </appender>  
  169.     <!-- 指定項目中某個包，當有日志操作行為時的日志記錄級別 -->  
  170.     <!-- rmjk.dao.mappe為根包，也就是只要是發生在這個根包下面的所有日志操作行為的權限都是DEBUG -->  
  171.     <!-- 級別依次為【從高到低】：FATAL > ERROR > WARN > INFO > DEBUG > TRACE  -->  
  172.     <logger name="rmjk.dao.mapper" level="DEBUG"/>  
  173.     <logger name="rmjk.service" level="DEBUG"/>  
  174.     <!--顯示日志-->  
  175.     <logger name="org.springframework.jdbc.core" additivity="false" level="DEBUG">  
  176.         <appender-ref ref="STDOUT"/>  
  177.         <appender-ref ref="FILEINFO"/>  
  178.     </logger>  
  179.     <!-- 打印json日志   -->  
  180.     <logger name="IPInterceptor" level="info" additivity="false">  
  181.         <appender-ref ref="jsonLog"/>  
  182.     </logger>  
  183.     <!-- 生產環境下，將此級別配置為適合的級別，以免日志文件太多或影響程序性能 -->  
  184.     <root level="INFO">  
  185.         <appender-ref ref="FILEERROR"/>  
  186.         <appender-ref ref="FILEWARN"/>  
  187.         <appender-ref ref="FILEINFO"/>  
  188.         <!-- 生產環境將請stdout,testfile去掉 -->  
  189.         <appender-ref ref="STDOUT"/>  
  190.     </root>  
  191. </configuration> 

其中的關鍵為： 

  1. <logger name="IPInterceptor" level="info" additivity="false">  
  2.       <appender-ref ref="jsonLog"/>  
  3. </logger> 

在需要打印的文件中引入slf4j： 

  1. private static final Logger LOG = LoggerFactory.getLogger("IPInterceptor"); 

MDC中放入需要打印的信息： 

  1. MDC.put("ip", ipAddress); 
  2.  MDC.put("path", servletPath);  
  3. MDC.put("uid", paramMap.get("uid") == null ? "" : paramMap.get("uid").toString()); 

此時如果使用了LOG.info("msg")的話，打印的內容會輸入到日志的message中，日志格式如下：

修改Logstash配置

修改/usr/config/logstash目錄下的beats-input.conf： 

  1. input {  
  2.   beats {  
  3.     port => 5044  
  4.     codec => "json"  
  5.   }  
  6. } 

只加了一句codec => "json"，但是Logstash會按照JSON格式來解析輸入的內容。

因為修改了配置，重啟elk：

  1. docker restart elk 

這樣，當我們的日志生成完畢之后，使用Filebeat導入到elk中，就可以通過Kibana來進行日志分析了。 

 

責任編輯：龐桂玉 來源： segmentfault
DockerELKJava
相關推薦

2022-03-08 08:21:21

Spring日志分析系統日志數據

2017-04-06 21:29:58

數據分析ELK架構

2020-02-21 10:45:06

運維架構技術

2023-09-13 08:56:51

2023-02-23 09:36:34

DockerELK堆棧

2018-11-05 09:23:19

開源Docker容器鏡像

2021-07-20 08:32:16

Kubernetes日志平臺

2021-09-13 08:20:13

Loki日志系統

2021-07-19 09:18:07

KubernetesELK Stackk8s

2022-01-21 08:36:21

LogstashZabbix監控

2017-03-28 10:20:24

Docker通信分析

2009-12-04 15:28:31

PHP JSON安裝

2019-12-03 18:58:07

DockerLinux操作系統

2020-04-08 12:03:16

PyFlinkCDN日志

2009-09-21 18:00:49

Hibernate X

2020-06-11 09:00:59

ELKTB級監控

2017-08-16 15:11:10

ELK集群監控

2022-08-30 08:41:51

日志文件FileBeat配置

2023-10-16 07:39:02

ELKpod日志

2011-11-21 15:35:49

日志分析
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 欧美精品一二三 | 黄色毛片在线看 | 女同videos另类 | 日日干夜夜操天天操 | 欧美日韩在线视频一区 | 99视频精品| 午夜丰满寂寞少妇精品 | 日本在线免费 | 久久精品一区 | 91中文字幕在线 | 国产美女久久 | av日韩一区 | 日韩激情在线 | 久久国产成人 | 一区二区精品 | 在线视频中文字幕 | av影音| 国产成人精品久久二区二区91 | 免费的日批视频 | 国产欧美精品一区二区 | 欧美一级在线观看 | 国产精品天堂 | 97人澡人人添人人爽欧美 | 一区二区三区av夏目彩春 | 嫩草视频入口 | 国产h在线 | 成人小视频在线观看 | 欧美国产日韩一区二区三区 | 欧美高清一区 | 久久久久国产 | www.亚洲| 精品亚洲一区二区三区 | 欧美日韩在线视频一区 | 午夜精品久久久久久久久久久久久 | 成人小视频在线 | 久热国产精品 | 久久久国产精品入口麻豆 | 秋霞a级毛片在线看 | 国产精品视频久久久 | 操网站| 亚洲精品乱码久久久久久按摩观 |