Oops - IT

Elastic에서 제공하는 Filebat를 이용하여 zabbix_server.log 및 syslog를 수집하는 작업을 진행해보도록 하겠습니다. ** OS 환경: ubuntu 16.04 ** Filebeat 버전: 7.10 1. Filebeat 설치 - 저는 가장 최신 버전인 7.10을 사용하여 진행하였습니다. - ELK 설치와 환경 준비에 대한 내용은 이전 포스트를 참조해주세요 (URL: https://usheep91.tistory.com/53?category=887212) - Zabbix 서버 설치에 대한 내용은 이전 포스트를 참조해주세요 (URL: https://usheep91.tistory.com/31?category=887203) - Zabbix 서버 로그 수집을 위해 Zabbix 서버 접속을 먼..

Logstash에 jdbc 플러그인을 이용하여 DB 데이터를 Elasticsearch에 Import한 후 Kibana로 시각화 해주는 작업을 진행해보겠습니다. DB는 Zabbix DB(Maria DB 10.0.38)을 사용하였습니다. ## 구성도 ## 1. Logstash에 jdbc 플러그인 설치 # /usr/share/logstash/bin/logstash-plugin list jdbc - 위와 같은 경우 정상적으로 설치가 되어 있는 것이므로 스킵 해주세요 - 설치가 되어 있지 않을 경우 아래 명령어로 설치를 진행 해줍니다. # /usr/share/logstash/bin/logstash-plugin install logstash-integration-jdbc 2. mysql-connector-java ..

저번에 포스팅에서 입력한 Basketball 관련 데이터 입력 시 공백에 따라 데이터가 구분되는 현상을 수정하기 위해 형태 소 분석기 nori를 추가하였고, termvector 데이터 확인 시 최대 3개의 데이터("Golden" + "State" + "Warrios")를 합쳐야 생성가능한 Terms가 있어 max_shingle_size까지 설정해주었습니다. 1. 기존 인덱스 삭제 - 기존 생성되어 있던 인덱스 패턴을 삭제해줍니다. # curl -X DELETE 'localhost:9200/basketball?pretty' 2. Mapping 파일 수정 - Mapping 파일에 형태소 분석기 내용과 shingle_size 관련 내용을 추가해 줍니다. - vim basketball_mapping.json ...

ELK STACK을 전체 구성 후에 Logstash를 통해 CSV파일 데이터를 Elasticsearch에 Import한 후 Kibana로 시각화 해주는 작업을 진행해보겠습니다. 1. Logstash 설치 - Logstash를 통해 Elasticsearh에 데이터를 넣기 위해 설치를 먼저 진행해주겠습니다. # wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-amd64.deb # dpkg -i logstash-7.10.0-amd64.deb # systemctl enable logstash # systemctl start logstash # systemctl status logstash 2. CSV 파일 다운로드 - 인프런 강의의 cs..

Elasticsearh에 인덱스 생성 및 데이터 입력 추가적으로 Kibana Terms로 활용을 위한 Mapping 작업까지 진행해주도록 하겠습니다. 1. Elasticsearh 인덱스 생성 - 데이터 입력을 위한 인덱스를 먼저 생성해 줍니다. - 인프런 강의 데이터 활용을 위해 아래와 같이 생성해주었습니다. # curl -X PUT localhost:9200/basketball 2. Mapping 생성 - 신규 ElasticVersion 에서는 Content-Type을 반드시 명시해줘야됩니다!! - Mapping을 위한 json 파일 생성 # vim basketball_mapping.json . . . { "record" : { "properties" : { "team" : { "type" : "tex..