ELK + filebeat 기본 설정 logstash (2)

기본적인 설정에 대한 글이다.

filebeat -> logstash -> elastic -> kibana 의 흐름 중 logstash 에 관한 설정이다.

로그스태시 다운로드 경로  : https://www.elastic.co/kr/downloads/logstash

Download Logstash Free | Get Started Now | Elastic

설치과정은 생략

설치 후 /config 경로에 losgstash.config 파일을 추가로 생성해 준다.

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

filter {
        grok {
                match => { "message" => "%{COMMONAPACHELOG}" }
        }
        date {
                match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
        }
        geoip {
                source => "clientip"
        }

}

output {
  elasticsearch {
    hosts => ["http://엘라스틱 IP:PORT", "http://엘라스틱 IP:PORT" , "http://엘라스틱 IP:PORT"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout {
    codec => rubydebug
  }
}

logstash.config 내용이다. 

input 은 filebeat 의 port 를 적어주면 된다. 

ouput 은 엘라스틱이 설치된 ip 와 port 를 사용하는 수 만큼 써주면 된다.

index 생성은 날짜별로 설정한것이므로 사용자에 맞게 설정하면 된다.

conf 설정이 끝났으면 pipelines.yml 을 열어 설정한다.

 - pipeline.id: tomcat_log
#   queue.type: persisted
   path.config: "/logstash-6.8.0/config/logstash.conf"

위에서 생성한 conf 파일에 대한 경로를 지정해주면 된다.

로그스태시가 사용하는 메모리 설정은  jvm.options 에서 해주면 되고 

그외에 다양한 설정이 있지만 추후에 기회가 된다면 들여다 볼까 한다.