[[416435]]

本文轉載自微信公眾號「DotNET技術圈」，作者Andrew Lock 。轉載本文請聯系DotNET技術圈公眾號。

原文來自：https://andrewlock.net/writing-logs-to-elasticsearch-with-fluentd-using-serilog-in-asp-net-core/

對于在 Kubernetes 中運行的應用程序，將日志消息存儲在一個中心位置尤為重要。我認為這對所有應用程序都很重要，無論您使用的是 Kubernetes 還是 docker，但 pod 和容器的短暫性質使得后一種情況特別重要。

如果您沒有集中存儲容器中的日志，那么如果容器崩潰并重新啟動，日志可能會永遠丟失。

有很多方法可以實現這一目標。您可以直接從您的應用程序登錄Elasticsearch或Seq，或者登錄到Elmah.io等外部服務。一種常見的方法是使用 Fluentd 從容器的控制臺輸出中收集日志，并將這些日志通過管道傳輸到 Elasticsearch 集群。

默認情況下，ASP.NET Core 中的控制臺日志輸出格式為人類可讀格式。如果您采用 Fluentd/Elasticsearch 方法，您需要確保您的控制臺輸出采用 Elasticsearch 可以理解的結構化格式，即 JSON。

在這篇文章中，我描述了如何將 Serilog 添加到 ASP.NET Core 應用程序，以及如何自定義 Serilog 控制臺接收器的輸出格式，以便您可以使用 Fluentd 將控制臺輸出通過管道傳輸到 Elasticsearch。

請注意，也可以將 Serilog 配置為使用Elasticsearch sink直接寫入Elasticsearch。如果您沒有使用 Fluentd，或者沒有將您的應用程序容器化，那么這是一個不錯的選擇。

將日志寫入控制臺輸出

當您從模板創建新的 ASP.NET Core 應用程序時，您的程序文件將如下所示(至少在 .NET Core 2.1 中)：

public class Program 
{ 
    public static void Main(string[] args) 
    { 
        CreateWebHostBuilder(args).Build().Run(); 
    } 
 
    public static IWebHostBuilder CreateWebHostBuilder(string[] args) => 
        WebHost.CreateDefaultBuilder(args) 
            .UseStartup<Startup>(); 
} 

靜態輔助方法WebHost.CreateDefaultBuilder(args)創建一個WebHostBuilder并連接許多標準配置選項[1]。默認情況下，它配置控制臺和調試記錄器提供程序：

.ConfigureLogging((hostingContext, logging) => 
{ 
    logging.AddConfiguration(hostingContext.Configuration.GetSection("Logging")); 
    logging.AddConsole(); 
    logging.AddDebug(); 
}) 

如果您從命令行使用 運行您的應用程序dotnet run，您將在控制臺中看到每個請求的日志。下面顯示了來自瀏覽器的兩個請求生成的日志 - 一個用于主頁，另一個用于 favicon.ico。

使用默認控制臺記錄器的控制臺輸出

不幸的是，控制臺記錄器在如何寫入日志方面沒有提供很大的靈活性。您可以選擇包含 scopes或禁用顏色，但僅此而已。

ASP.NET Core 中默認Microsoft.Extensions.Logging基礎結構的替代方法是使用 Serilog進行日志記錄，并將其作為標準 ASP.NET Core 記錄器進行連接。

將 Serilog 添加到 ASP.NET Core 應用程序

Serilog是一個成熟的開源項目，早于 ASP.NET Core 中的所有日志記錄基礎結構。在許多方面，ASP.NET Core 日志記錄基礎結構似乎以 Serilog 為模型：Serilog 具有類似的配置選項和可插拔的“接收器”來控制寫入日志的位置。

開始使用 Serilog 的最簡單方法是使用Serilog.AspNetCore NuGet 包。使用以下命令將其添加到您的應用程序中：

dotnet add package Serilog.AspNetCore 

您還需要添加一個或多個“sink”包，以控制日志的寫入位置。在這種情況下，我將安裝控制臺接收器，但如果您想一次寫入多個目的地，您也可以添加其他接收器。

dotnet add package Serilog.Sinks.Console 

Serilog.AspNetCore 包UseSerilog()在WebHostBuilder實例上提供了一個擴展方法。這用ILoggerFactorySerilog 的實現替換了默認值。您可以傳入現有Serilog.ILogger實例，也可以內聯配置記錄器。例如，以下代碼配置將寫入的最低日志級別 ( info) 并注冊控制臺接收器：

public static IWebHostBuilder CreateWebHostBuilder(string[] args) => 
    WebHost.CreateDefaultBuilder(args) 
        .UseSerilog((ctx, config) => 
        { 
            config 
                .MinimumLevel.Information() 
                .Enrich.FromLogContext() 
                .WriteTo.Console(); 
        }) 
        .UseStartup<Startup>(); 
} 

當您使用 Serilog 而不是默認記錄器時再次運行應用程序會提供以下控制臺輸出：

使用 Serilog 而不是默認的控制臺記錄器的控制臺輸出

輸出類似于默認記錄器，但重要的是它是非?？膳渲玫摹Ｄ梢噪S意更改輸出模板。例如，您可以通過包含SourceContext參數來顯示生成日志的類的名稱。

有關 Serilog.AspNetCore 包的更多詳細信息和示例，請參閱 GitHub 存儲庫[2]。有關控制臺格式選項，請參閱Serilog.Sinks.Console 存儲庫[3]。

除了對輸出模板的簡單更改外，控制臺接收器還允許完全控制消息的呈現方式。我們將使用該功能將日志呈現為 Fluentd 的 JSON，而不是人性化的格式。

自定義Serilog Console Sink的輸出格式寫入JSON

要更改數據的呈現方式，您可以添加自定義ITextFormatter. Serilog 包含一個JsonFormatter您可以使用的，但建議您考慮使用Serilog.Formatting.Compact包[4]：

“CompactJsonFormatter與 Serilog 的默認值相比，大大減少了小日志事件的字節數JsonFormatter，同時保持人類可讀。它通過更短的內置屬性名稱、更精簡的格式以及排除冗余信息來實現這一點。”

我們不會將這個包用于我們的 Fluentd/Elasticsearch 用例，但我將展示如何在任何情況下插入它。使用 添加包dotnet add package Serilog.Formatting.Compact，創建格式化程序的新實例，并將其傳遞給調用中的WriteTo.Console()方法UseSerilog()：

.UseSerilog((ctx, config) => 
{ 
    config 
        .MinimumLevel.Information() 
        .Enrich.FromLogContext() 
        .WriteTo.Console(new CompactJsonFormatter()); 
}) 

現在，如果您運行您的應用程序，您將看到以 JSON 格式寫入控制臺的日志：

使用 CompactJsonFormatter 以 JSON 格式寫入控制臺的日志圖像

這個格式化程序可能對您有用，但就我而言，我希望編寫 JSON 以便 Elasticsearch 能夠理解它。您可以看到緊湊的 JSON 格式(在下面打印得很漂亮)，正如承諾的那樣，為時間戳 ( @t)、消息模板 ( @mt) 和呈現的消息 ( @r)使用了緊湊的名稱：

{ 
  "@t": "2018-05-17T10:23:47.0727764Z", 
  "@mt": "{HostingRequestStartingLog:l}", 
  "@r": [ 
    "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  " 
  ], 
  "Protocol": "HTTP\/1.1", 
  "Method": "GET", 
  "ContentType": null, 
  "ContentLength": null, 
  "Scheme": "http", 
  "Host": "localhost:5000", 
  "PathBase": "", 
  "Path": "\/", 
  "QueryString": "", 
  "HostingRequestStartingLog": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  ", 
  "EventId": { 
    "Id": 1 
  }, 
  "SourceContext": "Microsoft.AspNetCore.Hosting.Internal.WebHost", 
  "RequestId": "0HLDRS135F8A6:00000001", 
  "RequestPath": "\/", 
  "CorrelationId": null, 
  "ConnectionId": "0HLDRS135F8A6" 
} 

對于最簡單的 Fluentd/Elasticsearch 集成，我希望使用標準 Elasticsearch 名稱(例如@timestamp時間戳)輸出 JSON 。幸運的是，所需要的只是更換格式化程序。

使用與 Elasticsearch 兼容的 JSON 格式化程序

該Serilog.Sinks.Elasticsearch包包含正是我們所需要的格式ElasticsearchJsonFormatter。這使用標準 Elasticsearch 字段(如@timestamp和 )呈現數據fields。

不幸的是，目前除了復制和粘貼源代碼首先檢查許可證之外，將格式化程序添加到您的項目的唯一方法是安裝整個Serilog.Sinks.Elasticsearch包，它有很多依賴項。

理想情況下，我希望將格式化程序視為它自己的獨立包，就像Serilog.Formatting.Compac一我提出了一個問題[5]如果這對您來說不是問題(這對我來說不是問題，因為我已經依賴Elasticsearch.Net，那么添加 Elasticsearch Sink 來訪問格式化程序是最簡單的解決方案。使用添加接收器dotnet add package Serilog.Sinks.ElasticSearch，并更新您的 Serilog 配置使用ElasticsearchJsonFormatter：

.UseSerilog((ctx, config) => 
{ 
    config 
        .MinimumLevel.Information() 
        .Enrich.FromLogContext() 
        .WriteTo.Console(new ElasticsearchJsonFormatter(); 
}) 

連接此格式化程序后，控制臺輸出將包含常見的 Elasticsearch 字段，如@timestamp，如下面(漂亮打印)輸出所示：

{  "@timestamp": "2018-05-17T22:31:43.9143984+12:00",  "level": "Information",  "messageTemplate": "{HostingRequestStartingLog:l}",  "message": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  ",  "fields": {    "Protocol": "HTTP\/1.1",    "Method": "GET",    "ContentType": null,    "ContentLength": null,    "Scheme": "http",    "Host": "localhost:5000",    "PathBase": "",    "Path": "\/",    "QueryString": "",    "HostingRequestStartingLog": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  ",    "EventId": {      "Id": 1    },    "SourceContext": "Microsoft.AspNetCore.Hosting.Internal.WebHost",    "RequestId": "0HLDRS5H8TSM4:00000001",    "RequestPath": "\/",    "CorrelationId": null,    "ConnectionId": "0HLDRS5H8TSM4"  },  "renderings": {    "HostingRequestStartingLog": [      {        "Format": "l",        "Rendering": "Request starting HTTP\/1.1 GET http:\/\/localhost:5000\/  "      }    ]  }} 

現在日志以一種可以直接從 Fluentd 傳輸到 Elasticsearch 的格式呈現。我們可以只寫到控制臺。

根據托管環境在輸出格式化程序之間切換

最后的提示。如果您想在本地開發時獲得人類可讀的控制臺輸出，并且只在 Staging 或 Production 中使用 JSON 格式化程序怎么辦?

這很容易實現，因為UseSerilog擴展提供了IHostingEnvironment通過WebHostBuilderContext. 例如，在以下代碼段中，我將應用程序配置為在開發中使用人類可讀的控制臺，并在其他環境中使用 JSON 格式化程序。

.UseSerilog((ctx, config) => 
{ 
    config 
        .MinimumLevel.Information() 
        .Enrich.FromLogContext(); 
 
    if (ctx.HostingEnvironment.IsDevelopment()) 
    { 
        config.WriteTo.Console(); 
    } 
    else 
    { 
        config.WriteTo.Console(new ElasticsearchJsonFormatter()); 
    } 
}) 

除了環境之外，您還可以根據通過IConfiguration對象 at提供的配置值進行切換ctx.Configuration。

概括

將日志存儲在一個中心位置很重要，尤其是在您構建容器化應用程序時。一種可能的解決方案是將日志輸出到控制臺，讓 Fluentd 監控控制臺，并將輸出通過管道傳輸到 Elasticsearch 集群。在這篇文章中，我描述了如何將 Serilog 日志記錄添加到您的 ASP.NET Core 應用程序并將其配置為以 Elasticsearch 期望的 JSON 格式將日志寫入控制臺。

References

[1] 連接許多標準配置選項: https://github.com/aspnet/MetaPackages/blob/2.1.0-rc1-final/src/Microsoft.AspNetCore/WebHost.cs#L150

[2] 請參閱 GitHub 存儲庫: https://github.com/serilog/serilog-aspnetcore

[3] Serilog.Sinks.Console 存儲庫: https://github.com/serilog/serilog-sinks-console

[4] 考慮使用Serilog.Formatting.Compact包: https://github.com/serilog/serilog-formatting-compact 

[5] 我提出了一個問題: https://github.com/serilog/serilog-sinks-elasticsearch/issues/176