일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- GIT
- apt
- EC2
- MySQL
- powershell
- DB
- ELK
- crawling
- module
- GCP
- elasticsearch
- 크롤링
- ubuntu
- 시스템자동화
- tcp
- 8.0
- AWS
- Selenium
- Linux
- python
- 데이터 분석
- 5.0
- kibana
- ansible
- zabbix
- API
- Automation
- 자동화
- EKS
- airflow
- Today
- Total
목록분류 전체보기 (115)
Oops - IT
1. Selenium이란? Beautifulsoup 등 기존 크롤러들의 한계를 극복하기 위해 마우스, 키보드의 동작이나 디스플레이에 바로 나타나는 HTML과의 상호작용을 할 수 있는 Python 라이브러리 중 하나이다. 예를 들어, 자동으로 ID나 PW를 받아 로그인을 해주거나, 팝업을 지워주거나, 페이지를 이동하는 작업 등을 할 수 있다. 2. Selenium 설치 설치 전에 본인의 Python 버전 및 실행 위치 등을 체크해줍니다. - Powershell 실행 > python >>> import sys >>> sys.executable - 저는 3.8.1 버전을 사용하고 있습니다. - 현재 Python 공식 사이트 기준 3.9.0 버전까지 출시가 된걸로 확인이 됩니다. >>> Ctrl+Z >>> En..
1. 파싱(Parsing)이란? 파싱(Parshing)이란 어떤 페이지(문서, HTML 등)에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출하여 정보로 가공하는 것을 말함. 주로 웹 페이지 소스나, 문서 등에서 행해지며 주로 HTML Tag, Xpath 등을 분석해 1차 적인 파싱(Parsing) 작업을 거치며 Python에서는 Beautifulsoup 모듈을 이용한다. 조금 더 Detail한 정보 수집이 필요할 경우 주로 정규 표현식을 이용한다. Python에서는 re 모듈을 사용하여 정규 표현식을 사용한 데이터 파싱(Parshing)을 진행한다. //re - Regex(Regular Expression) - 정규 표현식 2. 크롤링(Crawling)이란? 영어의 사전적 의미를 찾아보면 기어다니다는..
1. Kerberos란? : 티켓을 기반으로 동작하는 컴퓨터 네트워크 인증 암호화 프로토콜로서 비보안 네트워크에서 통신하는 노드가 보안 방식으로 다른 노드에 대해 식별할 수 있게 허용한다. 클라이언트 서버 모델을 모적으로 개발되었으며, 사용자와 서버가 서로 식별할 수 있는 상호 인증(양뱡향 인증)을 제공한다. Kerberos 프로토콜 메세지는 도청과 재 전송 공격으로부터 보호되며, 대칭 키 암호로 빌드되며 TTP(Trusted Third Party)를 요구한다. 또 특정 인증 구간에서 비대칭 키 암호화 방식을 이용함으로써 선택적으로 공개 키 암호 방식을 사용할 수 있다. : Default Port: 88 : 서버가 몇대 없고, 사용자의 숫자도 얼마 안되는 경우 각 서버별로 수동으로 유저를 추가하거나 권한..
** Cloud Platform: Azure ** OS 환경: Windows Server 2016, ubuntu 18.04 - uk.com 도메인을 가진 AD 서버를 새로 구성하였습니다. - 신규로 아래 계정 추가 하였습니다. - 리눅스 서버로는 Azure위에 구성해 LDAP연동을 한 Zabbix 서버를 사용하였습니다. 1. Samba, Winbind 패키지 설치 : Ubuntu 12.04 버전 이하의 경우 likewise-open 이라는 패키지를 사용해도 되는거 같네요 # apt-get install samba krb5-config krb5-user winbind libpam-winbind libnss-winbind : Kerberos 인증 설정을 위한 메세지가 표시가되면 아래와 같이 입력 해줍니다. ..
** Cloud Platform: Azure ** OS: ubuntu 18.04 - Zabbix LDAP 연동을 위해 Azure에 Zabbix 서버 구성 후 기존의 AD 서버를 이용하였습니다. 1. LDAP 동작 확인 : AD 서버에서 ldp 실행 : LDAP Default 포트 389 : Zabbix 서버와 AD 서버 LDAP 통신을 위해 해당 포트 통신 허용 규칙 추가 Zabbix Server #nc -z -v [AD 서버] 389 Connection to [AD 서버] 389 port [tcp/ldap] succed! 위와 같이 메시지 확인되면 정상 통신 2. AD 계정 생성 : 서버 관리자->도구->Active Directory Users and Computers 선택 : Users 오른쪽 버튼 ..
1. Write-Host : 사용자가 지정한 출력을 호스트에 쓴다 : 색깔 및 구분자 등을 이용하여 다양하게 지정 가능 : 파이프 라인 입력 값으로는 사용 불가 [옵션] -Object: 콘솔에 출력할 개체 지정 -ForegroundColor: 출력하는 문자열 색상 지정 -BackgroundColor: 출력하는 문자열 배경색 지정 -NoNewline: 콘솔에 문자열 출력 시 개행 문자 붙일지 여무 지정. 기본값 True -Separate: 콘솔에 출력되는 개체들 사이에 구분 문자열 2. Write-Output : 사용자가 지정한 출력을 파이프 라인으로 보냄 : 다른 cmdlet으로 파이프되거나 변수에 할당 가능 [옵션] -InputObject 파이프라인으로 보낼 개체를 지정 -NoEnumerate 지정한 ..
1. Get-WmiObject : 사용 가능한 옵션은 아래와 같습니다. 2. Get-WmiObject -List |more or Get-WmiObject -List |findstr ["검색하고자하는 Class"] 3. Get-WmiObject -Class Win32_NetworkAdapter : Class 할당 : Filter 설정 4. 출력 값 Gb 형태로 변경 : speed 라벨 재 설정 및 출력 형태 변경 : @{label="speed";expression={"${$_.speed/1000000000) Gb/s"}} : $_.speed - speed 값 참조 community.spiceworks.com/topic/2187738-how-do-i-get-win32_networkadapter-to-repo..
** Cloud Platform: Azure ** OS 환경: Windows Server 2019 Datacenter - DHCP 구성에 사용한 서버를 사용하였습니다. 1. WDS 기능 추가 : 서버 관리자에서 Windows Deployment Services 기능 추가 2. WDS 설정 : 서버관리자->도구->Windows 배포 서비스 선택 : 서버 오른쪽 버튼->서버 구성 선택 : 다음 : AD 구성을 했으므로 AD와 통합됨 옵션 선택 : AD 구성하지 않았을 경우 아래 독립 실행형 서버 옵션 선택 : 원격 설치 폴더 경로 입력(저는 Default 경로로 진행) : 시스템 볼륨과 분리된 공간을 이용하길 권장 : PXE 서버 초기 설정 : 알려지거나 알 수 없는 모든 클라이언트 컴퓨터에 응답 선택 3...
** Cloud Platform: Azure ** OS 환경: Windows Server 2019 Datacenter 1. VM 생성 : 가상 머신 추가 : 리소스 확인 및 할당 : 고려해야될 사항들 - 네트워크 시작 - VM 이름 설정 - VM 위치 결정 - VM 크기 결정 - 가격 적챙 및 모델 이해 - 운영체제 선택 : AD구성 및 DHCP 설정을 위해 고정 IP로 변경 해줍니다. 1-1. 고정 IP 등록 : 생성된 VM 선택 : 네트워크 인터페이스 클릭 : IP 구성 클릭 : 할당 정적 변경 : IP 주소 설정 2. 기능 추가 : 서버 관리자에서 DHCP 기능 추가를 해줍니다. 3. DHCP 설정 : DHCP 서버에서 사용할 IP 풀을 설정해줍니다. : 이름 설정 : IP 풀 설정 및 예외 IP ..
1. Azure 사이트 접속 : 체험 계정 만들기 : Microsoft 계정 로그인 : URL - azure.microsoft.com/ko-kr/get-started/ Azure 시작 | Microsoft Azure Azure 101 가져오기. 이 Azure 기본 사항에 대한 지침을 사용하여 비즈니스에 대한 Azure의 가치를 실현합니다. azure.microsoft.com : 12개월의 무료 서비스 750시간의 Microsoft Windows Server용 Azure B1S 범용 Virtual Machines 750시간의 Linux용 Azure B1S 범용 Virtual Machines 128GB의 Managed Disks: 64GB(P6) SSD 저장소 2개의 조합, 1GB 스냅숏 및 2백만 개 I/..