일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- tcp
- EC2
- AWS
- ansible
- ubuntu
- MySQL
- API
- elasticsearch
- python
- GCP
- zabbix
- powershell
- EKS
- 자동화
- 8.0
- Linux
- airflow
- Selenium
- 시스템자동화
- kibana
- module
- ELK
- 데이터 분석
- 크롤링
- apt
- DB
- crawling
- 5.0
- Automation
- GIT
Archives
- Today
- Total
목록Parsing (1)
Oops - IT
Parsing, Crawling 이란?
1. 파싱(Parsing)이란? 파싱(Parshing)이란 어떤 페이지(문서, HTML 등)에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출하여 정보로 가공하는 것을 말함. 주로 웹 페이지 소스나, 문서 등에서 행해지며 주로 HTML Tag, Xpath 등을 분석해 1차 적인 파싱(Parsing) 작업을 거치며 Python에서는 Beautifulsoup 모듈을 이용한다. 조금 더 Detail한 정보 수집이 필요할 경우 주로 정규 표현식을 이용한다. Python에서는 re 모듈을 사용하여 정규 표현식을 사용한 데이터 파싱(Parshing)을 진행한다. //re - Regex(Regular Expression) - 정규 표현식 2. 크롤링(Crawling)이란? 영어의 사전적 의미를 찾아보면 기어다니다는..
Python/Parshing&Crawling
2020. 12. 3. 19:42