Oops - IT

전체 종료 # docker stop $(docker ps -a -q) 전체 삭제 # docker rm $(docker ps -a -q)

관련 패키지 설치 - Mysql Provider를 설치 # pip install apache-airflow-providers-mysql==2.1.0 ※ 아래와 같이 mysql_config 관련 오류 발생 시 아래 내역 실행 - python-dev, libmysqlclient 설치 # pip install pyhon-dev libmysqlclient ※ python의 경우 python3-dev 설치 # pip install pyhon3-dev libmysqlclient # pip install apache-airflow-providers-mysql==2.1.0 MySQL Connection 생성 - DB 계정 생성 # mysql -u root -p > create user 'sqladmin'@'%' ide..

SubDag 생성 task3, 4 을 SubDag로 묶은 후에 Parent Dag에서 실행 ## parallel_dag.py > vim /home/airflow/dags/parallel_dag.py from airflow import DAG from airflow.operators.bash import BashOperator from airflow.operators.subdag import SubDagOperator from subdags.subdag_parallel_dag import subdag_parallel_dag from datetime import datetime default_args = { 'start_date': datetime(2022, 1, 1) } with DAG('parallel_..

Executor란? - Task가 실행되는 메커니즘으로 Airflow 당 하나의 Executor만 가질 수 있습니다. - Executor는 파이썬 패키지를 통해 설치가 가능하면 airflow.cfg 에서 옵션을 변경하여 변경 할 수 있습니다. Executor 종류 https://airflow.apache.org/docs/apache-airflow/stable/executor/index.html Executor — Airflow Documentation airflow.apache.org 위의 페이지에서 전체 Executor 목록에 대해서 확인 가능하며, 주로 사용하는 Executor 들의 특성에 대해서 정리해보았습니다. SequentialExecutor Airflow 설치 시 가장 기본으로 제공되는 Exe..

Airflow DB 변경 - Airflow DB 변경하는 이유 : 기본적으로 Airflow를 설치하면 Sqllite를 기본 DB로 사용하게 되는데 Sequential Executor를 제외한 다른 Executor를 사용하기 위해서는 DB 변경이 필요하다. : 주로 Airflow 에서는 postgresql을 사용한다. DB(postgresql) 설치 - DB 설치 방법은 간단하다. # sudo apt-get update postgresql - 설치가 완료되었으면 패키지 설치를 진행하였으므로, postgres user가 자동으로 생성된다. # su - postgres # psql =# create database airflow_db =# \list ## example =# create user airflow..

Airflow란? Apache에서 제공하는 Workflow 개발 및 데이터 파이프라인을 설계 모니터링할 수 있는 오픈 소스 솔루션입니다. Airflow 장점? 1. 파이썬 코드를 이용해 파이프 라인 구축을 진행하므로 파이썬 언어에서 지원하는 기능을 통해 복잡한 커스텀 파이프라인의 설계가 가능합니다. 2. 쉽게 확장이 가능하며 다양한 시스템과 통합이 가능합니다. (ex. DB, Public Cloud SaaS 등..) 3. 수 많은 스케줄링 기법을 통해 파이프 라인을 정기 실행 점진적 처리를 가능하게 하며, 재 실행이 필요 없는 효율적인 파이프라인 구축이 가능합니다. 4. 백필 기능을 통해 과거 데이터의 재 처리가 용이하며 코드 변경 후 재 생성이 필요한 데이터의 재 처리도 가능합니다. 5. WEB UI를..

DAG란? DAG(Directed Acyclic Graph) 방향성 비순환 그래프의 약자로 원하는 데이터를 얻긱 위해 실행되는 여러 테스크 또는 동작의 흐름으로 화살표의 방향성의 끝점을 포함하되 반복이나 순환을 허용하지 않습니다. 그래서 아래 내용을 바탕으로 보면 'download_lauches' task가 먼저 실행이 되며, 해당 task가 정상적으로 실행되어야 'get_pictures' task가 실행되며 위와 같이 순차적으로 task들이 실행이 되며, 사용자는 이러한 종속성에 맞게 DAG안에 task들을 다양한 Operator들을 통해 정의하게 되며 Python, Yaml, Bash 등 여러 가지 언어가 사용 가능하므로 복잡한 task들의 조합을 통해 효율적인 데이터 파이프라인을 구성할 수 있습니다..

옛날에 살던 하안동에 파스타 맛집에 생겼다고 해서 방문하는데 간판 디자인이 심플하고 너무 이쁘네요 :) - 달그락 메뉴판 - 가게 내부는 조금 작지만 식기부터 냅킨까지 아기자기한 분위기가 너무 좋아요~~ 식전에 샐러드 리코타 치즈 샐러드도 맛있지만 새우 샐러드 너무 맛있어요!! 와사비 드레싱과 너무 잘 어울리는 새우 샐러드 주문한 씨푸드 비앙코랑 빠네 크림 파스타가 나왔는데요 매콤한 빠네 크림파스타가 느끼하지도 않고 너무 맛있게 먹구 왔어요 동네 가까이 있으면 자주 가고 싶은 맛집이에요! [네이버 지도] 달그락 경기 광명시 하안로287번길 22 1층 http://naver.me/F 네이버 지도 달그락 map.naver.com

CKA 시험 준비를 위해 udemy 강의의 VM을 세팅하기 위해 vagrantfile을 통해 VirtualBox에 해당 VM을 생성하고 세팅하는 과정에서 VirtualBox VM 실행불가 현상이 발생하여 관련하여 해결 방법에 대해서 정리해보았습니다. Windows 부팅 로더 설정 확인 실행 설정 현재 Oracle VirtualBox와 Hyper-V 동시 실행 불가 hypervisorlaunchtype 항목을 통해 제어 VirtualBox 실행 > bcdedit /set hypervisorlaunchtype off Hyper-V 실행 > bcdedit /set hypervisorlaunchtype auto 설정 변경 후에는 시스템 재부팅이 필요합니다.

Kubernetes란? 쿠버네티스는 컨테이너화된 워코르드와 서비스를 관리하기 위한 이식성 있고, 확장 가능한 오픈 소스 플랫폼이다. 쿠버네티스는 선억적 구성과 자동화를 모두 용이하게 해주며, 크고 빠르게 성장하는 생태계를 지닌 플랫폼이다. 쿠버네티스란 명칭은 키잡이(helmsman)나 파일럿을 뜻하는 그리스어에서 유래되었으며 구글이 쿠버네티스 프로젝트를 2014년에 오픈소스화 하였다. Kubernetes 제공 기능 서비스 디스커버리와 로드 밸런싱 쿠버네티스는 DNS 이름을 사용하거나 자체 IP 주소를 사용하여 컨테이너를 노출할 수 있다. 컨테이너에 대한 트래픽이 많으면, 쿠버네티스는 네트워크 트래픽을 로드밸런싱하고 배포하여 배포가 안정적으로 이루어질 수 있다. 스토리지 오케스트레이션 쿠버네티스를 사용하면..