Почему после рестарта сервиса Elk перестает писать логи?
Имеется стэк ELK в него сервисы пишут логи. Схема стандартая сервисы пишут в логстэш , логстэш передает в эластик, Кибана отображает логи.
Проблема появляется когда один из сервисов перезапускается или обновляется, после этого в Кибане видны логи только этого сервиса. Логи от остальных сервисов не отображаются. Перезапуск логстэш не помогает. Если перезапустить все сервисы то их логи становится видны.
В чем может быть проблема ? Сервисы расположены на разных серверах, стоят отдельно от ELK.
UPD:
config logstash:
input {
udp {
port => "5000"
type => syslog
codec => json
}
}
filter {
if [logger_name] =~ "metrics" {
kv {
source => "message"
field_split_pattern => ", "
prefix => "metric_"
}
mutate {
convert => { "metric_value" => "float" }
convert => { "metric_count" => "integer" }
convert => { "metric_min" => "float" }
convert => { "metric_max" => "float" }
convert => { "metric_mean" => "float" }
convert => { "metric_stddev" => "float" }
convert => { "metric_median" => "float" }
convert => { "metric_p75" => "float" }
convert => { "metric_p95" => "float" }
convert => { "metric_p98" => "float" }
convert => { "metric_p99" => "float" }
convert => { "metric_p999" => "float" }
convert => { "metric_mean_rate" => "float" }
convert => { "metric_m1" => "float" }
convert => { "metric_m5" => "float" }
convert => { "metric_m15" => "float" }
# No need to keep message field after it has been parsed
remove_field => ["message"]
}
}
if [type] == "syslog" {
mutate {
add_field => { "instance_name" => "%{app_name}-%{host}:%{app_port}" }
}
}
}
output {
if [logger_name] =~ "metrics" {
elasticsearch {
hosts => ["1.2.4.12:9200"]
index => "metrics-%{+YYYY.MM.dd}"
}
}
else {
elasticsearch {
hosts => ["1.2.4.12:9200"]
index => "logs-%{+YYYY.MM.dd}"
}
}
}
Приложения сконфигурированы на logstash. Настройки берут из consul. Настройки следующие:
logging:
path: logs
archive-path: archive
level:
ROOT: INFO
ru.renue.obed: DEBUG
ru.renue.aud.layout: DEBUG
org.apache.kafka.clients.producer.ProducerConfig: WARN
io.github.jhipster: DEBUG
ru.renue.eps.cryptoservice: DEBUG
ru.renue.eps.monitoring: INFO
com.zaxxer.hikari: DEBUG
org.springframework.jms: DEBUG
logstash:
enabled: true
host: 1.2.4.12
port: 5000
queue-size: 512