ELK-03 (Filebeat를 연동한 로그 모니터링)

 

Elastic에서 제공하는 Filebat를 이용하여 zabbix_server.log 및 syslog를 수집하는 작업을 진행해보도록 하겠습니다.

 

 

** OS 환경: ubuntu 16.04

** Filebeat 버전: 7.10

 

1.  Filebeat 설치

 

- 저는 가장 최신 버전인 7.10을 사용하여 진행하였습니다.
- ELK 설치와 환경 준비에 대한 내용은 이전 포스트를 참조해주세요

                            (URL: https://usheep91.tistory.com/53?category=887212)

- Zabbix 서버 설치에 대한 내용은 이전 포스트를 참조해주세요

                            (URL: https://usheep91.tistory.com/31?category=887203)

- Zabbix 서버 로그 수집을 위해 Zabbix 서버 접속을 먼저 진행해줍니다.
- Filebeat 설치를 위해 설치파일을 다운로드 후 설치해주겠습니다.

# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10. 0-amd64.deb
# dpkg -i filebeat-7.10.0-amd64.deb
# systemctl enable filebeat
# systemctl start filebeat
# systemctl status filebeat

 

2 filebeat.yml 설정 변경

 

- 로그 데이터 수집을 위해 filebeat.yml 파일 내용을 변경해줍니다.

# vim /etc/filebeat/filebeat.yml
.
.
.
  paths:
    - /var/log/syslog
    - /var/log/zabbix*.log
.
.
.
output.logstash:
  hosts: [ "본인 logstash 서버 IP:5044" ] 
.
.
.
: wq

: 위와 같이 변경 후 저장해줍니다.
- filebeat 재 시작

# systemctl restart filebeat

- 위의 작업까지 진행 해주면 Filebeat에 대한 세팅은 완료됩니다.

 

3. logstash.conf 설정 변경

 

- 설정한 Filebeat 데이터를 logstash에서 받아오기위해 logstash.conf 를 변경해줍니다.
# vim /etc/logstash/logstash.conf
.
.
input { beats { port => 5044 } } output { if [beat][hostname] == "op-zabbix" or [beat][hostname] == "op-zabbix" { elasticsearch { hosts => "localhost:9200" manage_template => false index => "tomcat-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } } else if [beat][hostname] == "op-zabbix" { elasticsearch { hosts => "localhost:9200" manage_template => false index => "database-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } } else { elasticsearch { hosts => "localhost:9200" manage_template => false index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } } }
.
.
.
: wq

: wq

- 변경된 설정파일을 적용하여 logstash를 실행 시켜 줍니다.

# /usr/share/logstash/bin/logstash -f /etc/logstash/logstash.conf

 

4. Kibana 인덱스 패턴 등록 및 데이터 수집 확인

 

- Kibana 설정 관련 내용은 이전 포스트 참조 부탁드립니다.

- 인덱스 패턴 등록 후 Discover 페이지에서 데이터 수집 상태를 확인해보겠습니다.
- log.file.path 데이터만 toggle 해서 확인하면 아래와 같이 설정한 syslog, zabbix_server.log가 정상적으로 수집되고 있는 것을 확인할 수 있습니다.