Oops - IT

Elastic에서 제공하는 Filebat를 이용하여 zabbix_server.log 및 syslog를 수집하는 작업을 진행해보도록 하겠습니다. ** OS 환경: ubuntu 16.04 ** Filebeat 버전: 7.10 1. Filebeat 설치 - 저는 가장 최신 버전인 7.10을 사용하여 진행하였습니다. - ELK 설치와 환경 준비에 대한 내용은 이전 포스트를 참조해주세요 (URL: https://usheep91.tistory.com/53?category=887212) - Zabbix 서버 설치에 대한 내용은 이전 포스트를 참조해주세요 (URL: https://usheep91.tistory.com/31?category=887203) - Zabbix 서버 로그 수집을 위해 Zabbix 서버 접속을 먼..

Logstash에 jdbc 플러그인을 이용하여 DB 데이터를 Elasticsearch에 Import한 후 Kibana로 시각화 해주는 작업을 진행해보겠습니다. DB는 Zabbix DB(Maria DB 10.0.38)을 사용하였습니다. ## 구성도 ## 1. Logstash에 jdbc 플러그인 설치 # /usr/share/logstash/bin/logstash-plugin list jdbc - 위와 같은 경우 정상적으로 설치가 되어 있는 것이므로 스킵 해주세요 - 설치가 되어 있지 않을 경우 아래 명령어로 설치를 진행 해줍니다. # /usr/share/logstash/bin/logstash-plugin install logstash-integration-jdbc 2. mysql-connector-java ..

저번에 포스팅에서 입력한 Basketball 관련 데이터 입력 시 공백에 따라 데이터가 구분되는 현상을 수정하기 위해 형태 소 분석기 nori를 추가하였고, termvector 데이터 확인 시 최대 3개의 데이터("Golden" + "State" + "Warrios")를 합쳐야 생성가능한 Terms가 있어 max_shingle_size까지 설정해주었습니다. 1. 기존 인덱스 삭제 - 기존 생성되어 있던 인덱스 패턴을 삭제해줍니다. # curl -X DELETE 'localhost:9200/basketball?pretty' 2. Mapping 파일 수정 - Mapping 파일에 형태소 분석기 내용과 shingle_size 관련 내용을 추가해 줍니다. - vim basketball_mapping.json ...

ELK STACK을 전체 구성 후에 Logstash를 통해 CSV파일 데이터를 Elasticsearch에 Import한 후 Kibana로 시각화 해주는 작업을 진행해보겠습니다. 1. Logstash 설치 - Logstash를 통해 Elasticsearh에 데이터를 넣기 위해 설치를 먼저 진행해주겠습니다. # wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-amd64.deb # dpkg -i logstash-7.10.0-amd64.deb # systemctl enable logstash # systemctl start logstash # systemctl status logstash 2. CSV 파일 다운로드 - 인프런 강의의 cs..

Elasticsearh에 인덱스 생성 및 데이터 입력 추가적으로 Kibana Terms로 활용을 위한 Mapping 작업까지 진행해주도록 하겠습니다. 1. Elasticsearh 인덱스 생성 - 데이터 입력을 위한 인덱스를 먼저 생성해 줍니다. - 인프런 강의 데이터 활용을 위해 아래와 같이 생성해주었습니다. # curl -X PUT localhost:9200/basketball 2. Mapping 생성 - 신규 ElasticVersion 에서는 Content-Type을 반드시 명시해줘야됩니다!! - Mapping을 위한 json 파일 생성 # vim basketball_mapping.json . . . { "record" : { "properties" : { "team" : { "type" : "tex..

Kibana는 ELK 스택의 시각화를 담당하는 툴로 Elasticsearch에 저장된 데이터를 용도에 맞게 시각화할 수 있는 기능들을 제공합니다. 현재 설치되어있는 Elasticsearch에서 데이터를 시각화할 수 있는 Kibana 설치를 진행해보겠습니다. 1. 설치 파일 다운로드 - Elasticsearch와 동일한 서버에 Kibana를 설치해주겠습니다. # wget http://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-amd64.deb # dpkg -i kibana-7.10.0-amd64.deb - 위와 같이 설치가 완료되었습니다. 2. 서비스 등록 및 시작 - 부팅 시 자동 실행을 위해 Systemctl enable 등록을 해주겠습니다. # sys..

Aggregation은 사전적인 의미로 "집계"라는 말을 뜻하지만 Elasticsearch에서는 Elasticsearch안의 데이터 중에서 어떠한 특정한 값을 도출해 낼 때 사용한다. Aggregation은 사용 형태에 따라 Metric, Bucket Aggregation으로 나뉩니다. 1. Metric Aggregation - 산술적인 연산을 통한 특수한 값을 도출할 때 사용(ex. 최대값, 최소값) - 데이터 집계를 위한 Json 파일 생성 ex) stat 데이터 출력 # vim score_agg_test.json . . . { # 결과 값만 출력 "size" : 0, # aggregation 선언 "aggs" : { # 이름 "stats_score" : { # aggregation 연산 값 # st..

** OS 환경: ubuntu 16.04 ** Elasticsearch Version: 7.10.0 1. Elasticsearch / RDB 비교 A. 구조 Elasticsearch RDB index database type table document row field column mapping schema B. Query문 Elasticsearch RDB GET SELECT PUT UPDATE POST INSERT DELETE DELETE 2. Elasticsearch 데이터 입력 및 조회 - 데이터 확인 # curl -X GET http://localhost:9200/classes?pretty - 인덱스 생성 # curl -X PUT http://localhost:9200/classes - 인덱스 삭..

** OS 환경: ubuntu 16.04 1. JAVA 설치 - Elasticsearch는 JVM 기반으로 동작하므로 jdk를 설치해줍니다. # sudo add-apt-repository -y ppa:webupd8team/java # sudo apt-get update # sudo apt-get install openjdk-8-jdk 2. Elasticsearch 설치 - Elasticsearch를 진행해줍니다. : Dcou 참조하신 후 deb파일 다운 후 설치 : repo 등록 후 패키지 설치 - 저는 deb 파일 다운로드 후 진행하였습니다. # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-amd64.deb..