Дублирование сообщения в Kibana

Всем доброго дня! У меня есть server.log службы apache-kafka который я хочу отфильтровать с помощью logstash, загрузить в elasticsearch и просматривать содержимое в kibana. Я воспользовался grok debugger чтобы проверить корректность фильтрации сообщения.

sample data

[2020-06-15 10:58:15,432] INFO [GroupMetadataManager brokerId=0] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)

grok pattern

\[%{TIMESTAMP_ISO8601:timestamp}] %{LOGLEVEL:level} %{GREEDYDATA:message}

структурированные данные по итогу получились следующие

{
  "level": "INFO",
  "message": "[GroupMetadataManager brokerId=0] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)",
  "timestamp": "2020-06-15 10:58:15,432"
}

затем я создал конфиг в logstash, опишу блок фильтрации

filter {
    grok {
        match => { 
            "message" => "\[%{TIMESTAMP_ISO8601:timestamp}] %{LOGLEVEL:level} %{GREEDYDATA:message}"
        }
    }
}

В Kibana появился необходимый мне индекс, но в разделе Discover сообщение службы дублируется, что не есть хорошо как я понимаю и мне хотелось бы понять где допущена ошибка. Могу лишь предположить, что в блок фильтрации у меня не совсем корректный. введите сюда описание изображения

Благодарю за внимание!


Ответы (0 шт):