일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- apt
- GIT
- AWS
- crawling
- EC2
- elasticsearch
- GCP
- Linux
- ELK
- 시스템자동화
- ansible
- 8.0
- airflow
- python
- DB
- 데이터 분석
- module
- zabbix
- Selenium
- ubuntu
- EKS
- API
- Automation
- 크롤링
- MySQL
- powershell
- kibana
- tcp
- 자동화
- 5.0
- Today
- Total
목록분류 전체보기 (115)
Oops - IT
Kibana는 ELK 스택의 시각화를 담당하는 툴로 Elasticsearch에 저장된 데이터를 용도에 맞게 시각화할 수 있는 기능들을 제공합니다. 현재 설치되어있는 Elasticsearch에서 데이터를 시각화할 수 있는 Kibana 설치를 진행해보겠습니다. 1. 설치 파일 다운로드 - Elasticsearch와 동일한 서버에 Kibana를 설치해주겠습니다. # wget http://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-amd64.deb # dpkg -i kibana-7.10.0-amd64.deb - 위와 같이 설치가 완료되었습니다. 2. 서비스 등록 및 시작 - 부팅 시 자동 실행을 위해 Systemctl enable 등록을 해주겠습니다. # sys..
Aggregation은 사전적인 의미로 "집계"라는 말을 뜻하지만 Elasticsearch에서는 Elasticsearch안의 데이터 중에서 어떠한 특정한 값을 도출해 낼 때 사용한다. Aggregation은 사용 형태에 따라 Metric, Bucket Aggregation으로 나뉩니다. 1. Metric Aggregation - 산술적인 연산을 통한 특수한 값을 도출할 때 사용(ex. 최대값, 최소값) - 데이터 집계를 위한 Json 파일 생성 ex) stat 데이터 출력 # vim score_agg_test.json . . . { # 결과 값만 출력 "size" : 0, # aggregation 선언 "aggs" : { # 이름 "stats_score" : { # aggregation 연산 값 # st..
** OS 환경: ubuntu 16.04 ** Elasticsearch Version: 7.10.0 1. Elasticsearch / RDB 비교 A. 구조 Elasticsearch RDB index database type table document row field column mapping schema B. Query문 Elasticsearch RDB GET SELECT PUT UPDATE POST INSERT DELETE DELETE 2. Elasticsearch 데이터 입력 및 조회 - 데이터 확인 # curl -X GET http://localhost:9200/classes?pretty - 인덱스 생성 # curl -X PUT http://localhost:9200/classes - 인덱스 삭..
** OS 환경: ubuntu 16.04 1. JAVA 설치 - Elasticsearch는 JVM 기반으로 동작하므로 jdk를 설치해줍니다. # sudo add-apt-repository -y ppa:webupd8team/java # sudo apt-get update # sudo apt-get install openjdk-8-jdk 2. Elasticsearch 설치 - Elasticsearch를 진행해줍니다. : Dcou 참조하신 후 deb파일 다운 후 설치 : repo 등록 후 패키지 설치 - 저는 deb 파일 다운로드 후 진행하였습니다. # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-amd64.deb..
Root 암호를 잃어버렸거나, Troubshooting, 시스템 파일 수정 등을 위해 Linux Single 모드 부팅하는 방법에 대해서 작성해보겠습니다. 1. Grub 설정 환경 접속 - 싱글 모드 부팅을 위해 부팅 중 'e' 키를 눌러 Grub 설정 모드로 접속합니다. 2. Grub 설정 파일 수정 - linux로 시작하는 부분에서 end 키를 눌러 아래 빨간 부분으로 이동합니다. - ro -> rw init=/bin/bash 로 변경 해줍니다. - Ctrl + x or F10 키를 눌러 재부팅 진행합니다. 3. Grub 설정 파일 수정 - 아래와 같이 싱글모트 부팅이 된 것을 볼 수 있습니다. - 여기서 root 암호를 변경하거나 시스템 파일 수정을 해줍니다. # exec /sbin/init 명령어..
리눅스 서버에서 sudo 명령어 사용 시 암호를 제거하는 방법에 대해서 포스팅하겠습니다. 주로 root를 제외한 Admin 계정을 통한 서버 운영 시나, 특정 계정에서 상시 정보 수집 시에도 자주 사용합니다. 1. sudoers 파일 확인 #cat /etc/sudoers - 아래와 같이 sudoers 파일은 시스템 파일로 읽기 권한 밖에 없으므로 백업 후 진행해줍니다. - 다른 방법으로 #includedir /etc/sudoers.d 주석 제거 후 해당 디렉토리 안에 sudo 관련 설정을 추가합니다. 2. sudoers 파일 백업 - 시스템 파일 수정이기 때문에 오타가 발생할 경우 싱글모드 부팅 후 다시 수정해줘야되는 번거로움이 있으므로 항상 백업을 진행해줍니다. # cp /etc/sudoers /etc..
1. 파티션 형식 확인 - 실행 - cmd.exe 실행 > diskpart // diskpart.exe가 실행되며 새로운 명령 프롬프트가 생성됩니다. > list disk - 위와 같이 GPT 부분에 * 체크가 되어 있을 경우 GPT - * 체크가 없을 경우 MBR로 생각해주시면 됩니다. ※ MBR - Legacy BIOS / GPT - UEFI 모드로 생각해주시면 됩니다. 2. 변경 방법 - 1 - diskpart.exe에서 변경하고자하는 disk 선택 > select disk [disk 번호] > convert [MBR/GPT] - 설치 시 변경할 경우 - 설치 디스크 선택 후 Shift + F10 명령 프롬프트 진입 - 위와 같이 동일하게 진행 3. 변경 방법 - 2 - 실행 - diskmgmt.m..
이번 포스팅에서는 Zabbix Host 관리를 위한 Zabbix API 사용법에 대해서 다루며, Zabbix API를 활용한 간단한 Host 등록을 진행해보겠습니다. Zabbix 서버는 이전 Zabbix 관련 포스팅에서 사용했던 미리 구축된 서버를 이용하였습니다. ( 참조: usheep91.tistory.com/31?category=887203 ) 1. Zabbix API 구조 확인 저는 Zabbix API 구조 확인을 위해 Zabbix 공식 Docu를 참조하였습니다. 기본적으로 HTTP POST 요청으로 JSON 데이터를 보내는 형태로 동작하므로 동작을 편하게 적용하기 위한 POST 요청을 보내는 기본적인 Form 함수를 먼저 작성해보겠습니다. - post_api_request 함수 작성 - HTTP ..
Selenium을 이용하여 크롤링을 하다보면 개발자 도구로 분명히 Element 정보를 확인했는데 동작이 되지 않는 경우가 있습니다. 이럴 경우 페이지 소스를 열어 해당 태그 내용이 존재하는지 확인해주세요. 제가 크롤링 작업을 하던 페이지의 경우 아래와 같이 Iframe 형태로 데이터를 제공하고 있었습니다. 1. Iframe 정보 확인 - 개발자 도구를 이용하여 아래 클럽 버튼에 대한 xpath를 획득한 후 클릭하는 작업을 실행 해줍니다. - 잔여타임 예약 이동 및 클럽 선택 - 아래 코드를 실행 했지만 아무런 반응이 없습니다. 2. 소스 코드 확인 - Ctrl + U 버튼을 통해 소스 코드를 확인 합니다. - 소스 코드 확인 결과 위와 같이 확인되며, 아래와 같은 버튼에 대한 정보는 확인되지 않습니다...
이전 포스트에 이어서 접속한 페이지에서 발생하는 팝업 등을 제거하거나 페이지를 이동하는 작업을 해보겠습니다. 1. Session 확인 - 이전 포스트에서 로그인 완료 시 아래와 같이 창이 2개가 발생하는 것을 볼 수 있습니다. - 팝업창만 제거 하기위해 현재 열러 있는 세션의 정보를 획득해 보겠습니다. - window_handles 명령어를 통해 세션 정보를 획득합니다. 2. Session 종료 세션은 실제 창이 떠있는 순서로 배열 형태로 되어있으며, 가장 아래에 있는 메인 세션을 제외하고 종료해보겠습니다. - 현재 열려 있는 세션 개수 확인 - while문을 사용하여 세션을 이동 후 가장 아래 세션(window_handles[0]) 제외하고 종료해줍니다. - 위의 코드에 따라 팝업이 종료되어 세션이 1..