Oops - IT

Lambda란?서버 프로비저닝 또는 관리, 워크로드 인식 클러스터 확장 로직 생성, 이벤트 통합 유지 또는 런타임 관리 없이 코드를 실행합니다.  사실상 모든 유형의 애플리케이션이나 백엔드 서비스에 대한 코드를 실행합니다. 코드를 ZIP 파일 또는 컨테이너 이미지로 업로드하기만 하면 Lambda는 자동으로 컴퓨팅 실행 능력을 할당하고, 모든 트래픽 규모에 대하여 수신 요청 또는 이벤트를 기반으로 코드를 실행합니다. Lambda 기능을 선호하는 언어(Node.js, Python, Go, Java 등)로 작성하고 서버리스 및 컨테이너 도구(AWS SAM 또는 Docker CLI)를 사용하여 기능을 구축, 테스트 및 배포합니다.  서버리스 형태로 원하는 코드를 실행가능하도록 도와주는 AWS 서비스이며, 위의 ..

Executor란? - Task가 실행되는 메커니즘으로 Airflow 당 하나의 Executor만 가질 수 있습니다. - Executor는 파이썬 패키지를 통해 설치가 가능하면 airflow.cfg 에서 옵션을 변경하여 변경 할 수 있습니다. Executor 종류 https://airflow.apache.org/docs/apache-airflow/stable/executor/index.html Executor — Airflow Documentation airflow.apache.org 위의 페이지에서 전체 Executor 목록에 대해서 확인 가능하며, 주로 사용하는 Executor 들의 특성에 대해서 정리해보았습니다. SequentialExecutor Airflow 설치 시 가장 기본으로 제공되는 Exe..

Airflow DB 변경 - Airflow DB 변경하는 이유 : 기본적으로 Airflow를 설치하면 Sqllite를 기본 DB로 사용하게 되는데 Sequential Executor를 제외한 다른 Executor를 사용하기 위해서는 DB 변경이 필요하다. : 주로 Airflow 에서는 postgresql을 사용한다. DB(postgresql) 설치 - DB 설치 방법은 간단하다. # sudo apt-get update postgresql - 설치가 완료되었으면 패키지 설치를 진행하였으므로, postgres user가 자동으로 생성된다. # su - postgres # psql =# create database airflow_db =# \list ## example =# create user airflow..

DAG란? DAG(Directed Acyclic Graph) 방향성 비순환 그래프의 약자로 원하는 데이터를 얻긱 위해 실행되는 여러 테스크 또는 동작의 흐름으로 화살표의 방향성의 끝점을 포함하되 반복이나 순환을 허용하지 않습니다. 그래서 아래 내용을 바탕으로 보면 'download_lauches' task가 먼저 실행이 되며, 해당 task가 정상적으로 실행되어야 'get_pictures' task가 실행되며 위와 같이 순차적으로 task들이 실행이 되며, 사용자는 이러한 종속성에 맞게 DAG안에 task들을 다양한 Operator들을 통해 정의하게 되며 Python, Yaml, Bash 등 여러 가지 언어가 사용 가능하므로 복잡한 task들의 조합을 통해 효율적인 데이터 파이프라인을 구성할 수 있습니다..