Метрики в ASP.NET Core 3.1. Чем собирать внутри и чем их забирать?

Как уже было сказано в самом вопросе - я все же использовал библиотеку App Metrics (https://www.app-metrics.io). А именно - следующие пакеты (самые актуальные на данный момент):

Install-Package App.Metrics -Version 4.0.0-preview1.0.7
Install-Package App.Metrics.AspNetCore 4.0.0-preview1.0.7
Install-Package App.Metrics.AspNetCore.Endpoints 4.0.0-preview1.0.7
Install-Package App.Metrics.AspNetCore.Mvc 4.0.0-preview1.0.7
Install-Package App.Metrics.AspNetCore.Tracking 4.0.0-preview1.0.7
Install-Package App.Metrics.Extensions.Configuration 4.0.0-preview1.0.7
Install-Package App.Metrics.Extensions.Hosting 4.0.0-preview1.0.7
Install-Package App.Metrics.Formatters.InfluxDB 4.0.0-preview1.0.7
Install-Package App.Metrics.Reporting.InfluxDB 4.0.0-preview1.0.7

У данной превью версии пакетов все работает стабильно. На данный момент багов не выявлено. Решил пока использовать без хелсчеков, а только для метрик. Zabbix использую как в последнем коменте Ап-е к вопросу.

Telegraf-агент использую как прокси. Телеграф может накапливать собранные метрики и отправлять их с задержкой, так что при сетевых проблемах или недоступности БД - он будет кэшировать метрики.

Ниже приведу пример реализации, но я пишу это на коммерческом проекте и многое приходится удалять, оставляя только то, что касается темы и то, что взято из открытых источников. Надеюсь ничего не упущу. Ну и... все еще немного сыровато, но все работает.

Program.sc:

public static IHostBuilder CreateHostBuilder(string[] args) =>
            Host.CreateDefaultBuilder(args)
            .UseInfluxDbReporter()
            .UseMetrics()
            .UseMetricsEndpoints()
            .UseMetricsWebTracking()
            .ConfigureWebHostDefaults(webBuilder =>
            {
                webBuilder.UseStartup<Startup>();
            });

private static IHostBuilder UseInfluxDbReporter(this IHostBuilder hostBuilder)
{
    var filter = new MetricsFilter();
    filter.WhereContext(c => c == MetricsRegistry.Context);
    hostBuilder.ConfigureMetricsWithDefaults(builder =>
    {
        builder.Filter.With(filter);
        builder.Report.ToInfluxDb(options =>
        {
            // адрес Telegraf-агента
            options.InfluxDb.BaseUri = new Uri("http://localhost:8186"); 
            options.InfluxDb.Database = "appmetricsdb";
            options.InfluxDb.Consistenency = "any";
            options.InfluxDb.UserName = "admin";
            options.InfluxDb.Password = "Password";
            options.InfluxDb.RetentionPolicy = "autogen";
            options.InfluxDb.CreateDataBaseIfNotExists = true;
            options.HttpPolicy.BackoffPeriod = TimeSpan.FromSeconds(30);
            options.HttpPolicy.FailuresBeforeBackoff = 5;
            options.HttpPolicy.Timeout = TimeSpan.FromSeconds(10);
            options.MetricsOutputFormatter = 
                     new MetricsInfluxDbLineProtocolOutputFormatter();
            options.Filter = filter;
            options.FlushInterval = TimeSpan.FromSeconds(1);
        });
    });
    return hostBuilder;
}

Startup.cs:

public Startup(IConfiguration configuration)
{
    Configuration = configuration;
}

public IConfiguration Configuration { get; }

public void ConfigureServices(IServiceCollection services)
{
    var metrics = new MetricsBuilder()             
        .Configuration.ReadFrom(Configuration)
        .Configuration.Configure(options =>
        {
            // Пишу все метрики в один контекст, но вы можете не добавлять это поле
            // В таком случае - в "Application.HttpRequests" 
            // будут записаны метрики по умолчанию
            // а в ваши в контекст, который вы укажете в appsettings.json
            options.DefaultContextLabel = "Application.HttpRequests";
        })
        .OutputMetrics.AsInfluxDbLineProtocol()
        .Build();
    services.AddMetricsTrackingMiddleware(Configuration);
    services.AddMetricsEndpoints(Configuration);
    services.AddMetricsReportingHostedService();
    services.AddMetricsAuthorization();
    // configure sending scheduler:
    UseReporterScheduler(metrics);
    services.AddMetrics(metrics);
    services.AddControllers().AddMetrics(); 
}

public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
    app.UseMetricsAllMiddleware();
    app.UseMetricsAllEndpoints();

    if (env.IsDevelopment())
    {
        app.UseDeveloperExceptionPage();
    }

    app.UseHttpsRedirection();

    app.UseRouting();

    app.UseAuthorization();

    app.UseEndpoints(endpoints =>
    {
        endpoints.MapControllers();
    });
}

private static void UseReporterScheduler(IMetricsRoot metrics, int schedulerInterval = 5)
{
    var scheduler = new AppMetricsTaskScheduler(TimeSpan.FromSeconds(schedulerInterval),
        () =>
        {
            return Task.WhenAll(metrics.ReportRunner.RunAllAsync());

        });
    scheduler.Start();
}

appsettings.json:

"MetricsOptions": {
      "Enabled": true,
      "ReportingEnabled": true
    },
    "MetricsWebTrackingOptions": {
      "ApdexTrackingEnabled": true,
      "ApdexTSeconds": 0.1,
      "IgnoredHttpStatusCodes": [ 404 ],
      "IgnoredRoutesRegexPatterns": [],
      "OAuth2TrackingEnabled": false
    },
    "MetricEndpointsOptions": {
      "MetricsEndpointEnabled": true,
      "MetricsTextEndpointEnabled": true,
      "EnvironmentInfoEndpointEnabled": true
    }

Далее вы так же можете использовать различные метрики для замеров отдельных операций, но для начал советую собрать такой проект, запустить его, сделать пару запросов (желательно, что бы среди них были и не успешные) и открыть адрес https://localhost:port/metrics Возможно собранных метрик в вашем случае будет достаточно.

Конфиг input-плагина Telegraf-агента:

# # Influx HTTP write listener
[[inputs.http_listener]]
  ## Address and port to host HTTP listener on
  service_address = ":8186"

  ## timeouts
  read_timeout = "10s"
  write_timeout = "10s"

  ## HTTPS
  #tls_cert= "/etc/telegraf/cert.pem"
  #tls_key = "/etc/telegraf/key.pem"  

  ## MTLS
  #tls_allowed_cacerts = ["/etc/telegraf/clientca.pem"]

  ## Basic authentication
  #basic_username = "foobar"
  #basic_password = "barfoo"

Данный конфиг позволит ловить запросы от вашего приложений, а уже в аутпут плагине вы укажите, куда хотите переслать данные. У меня там все по умолчанию, кроме адреса сервера, так что это не интересно.

Далее, что бы визуализировать данные я использовал следующий шаблон графаны: https://grafana.com/grafana/dashboards/2125

У него есть свои недостатки, но это хороший шаблон для теста так как большинство его графиков сразу будут работать и вы узнаете, что все получилось. Вот небольшой кусочек:

Если данных нет - идем по порядку:

1. Ставим фидлер, в стартапе меняем вот эту строчку:

   options.InfluxDb.BaseUri = new Uri("http://localhost:8186");

   на вот эту:

   options.InfluxDb.BaseUri = new Uri("http://localhost.fiddler:8186");

Не забываем, что у вас может быть другой порт. Запускаем приложение, открываем фидлер и смотрим отправляет ли он данные в телеграф. Если все ок:

2. Ставим Сhronograf: https://docs.influxdata.com/chronograf/v1.8/ Это довольно простая утилитка, которая может подключится к вашей InfluxDB и показать, что у вас туда прилетело. Если данных нет - смотрите на output-плагин телеграфа, а если данные есть - смотрите на источник данных в графане.