Дублирование сообщения в Kibana
Всем доброго дня! У меня есть server.log службы apache-kafka который я хочу отфильтровать с помощью logstash, загрузить в elasticsearch и просматривать содержимое в kibana. Я воспользовался grok debugger чтобы проверить корректность фильтрации сообщения.
sample data
[2020-06-15 10:58:15,432] INFO [GroupMetadataManager brokerId=0] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
grok pattern
\[%{TIMESTAMP_ISO8601:timestamp}] %{LOGLEVEL:level} %{GREEDYDATA:message}
структурированные данные по итогу получились следующие
{
"level": "INFO",
"message": "[GroupMetadataManager brokerId=0] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)",
"timestamp": "2020-06-15 10:58:15,432"
}
затем я создал конфиг в logstash, опишу блок фильтрации
filter {
grok {
match => {
"message" => "\[%{TIMESTAMP_ISO8601:timestamp}] %{LOGLEVEL:level} %{GREEDYDATA:message}"
}
}
}
В Kibana появился необходимый мне индекс, но в разделе Discover сообщение службы дублируется, что не есть хорошо как я понимаю и мне хотелось бы понять где допущена ошибка. Могу лишь предположить, что в блок фильтрации у меня не совсем корректный.

Благодарю за внимание!