Oops - IT

AWS에서 Multi Account 환경 사용 시 SSO 구성에 대한 내용을 포스팅 해보겠습니다. 역할 전환보다는 콘솔 사용 시에는 용이하다고 생각합니다 :) 사용자 및 그룹 생성 SSO에서 사용할 계정 및 권한 부여를 위해 IAM Identity Center로 접속 후 SSO에서 사용할 계정을 생성합니다. 그룹을 생성 해줍니다. (선택 사항 - 만들어서 관리를 하는게 용이합니다.) 권한 세트 생성 SSO 접속 후에 사용될 권한이 정의 권한 세트를 생성합니다. (여기서는 미리 정의된 권한 세트 및 사용자가 직접 권한 세트 설정도 가능합니다.) 권한 세트의 세부 사항을 정의 합니다. 생성한 권한 세트를 할당합니다. 접속 확인 SSO 접속 URL에서 Identity Center에서 발급 받은 계정으로 로그인..

AWS EC2 접속을 위한 방법으로 Key Pair 사용 시 아래와 같은 화면이 나오는데 여기서 2가지 형태의 키 페어를 생성할 수 있습니다. OpenSSH를 통한 SSH 접속을 위해 .pem 확장자 형태로 키 페어를 생성합니다. Windows 환경에서 OpenSSH를 사용하기 위해서 아래 링크를 참조하여 OpenSSH Client를 설치 및 활성화합니다. https://learn.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_install_firstuse OpenSSH 설치 Windows용 OpenSSH 클라이언트 및 서버를 설치합니다. learn.microsoft.com # Install the OpenSSH Client Add-..

variables.tf Terraform의 변수는 variables.tf를 통해 선언하고 사용한다. 변수 형태는 여러 가지 종류가 있으므로 변수 선언 방식에 대해서 알아보자 ## 기본 변수 variable "project" { type = string } ## 배열 형태 변수 variable "region" { type = list(string) default = ["asia-northeast1", "asia-northeast2", "asia-northeast3"] } ## Object 형태 변수 variable "vpc" { type = object({ vpc_name = string ip_cidr_ragne = string network = string }) } ## Object 형태 변수 - 배열 ..

Docker란 무엇인가?? Docker, Kubernetes 많이 들어본 단어이지만, 확실하게 개념에 대한 설명을 물어보면 애매 모호한 답이 돌아오는 경우가 많다. 관련 내역을 공부 중에 알기 쉽게 개념을 정리해논 내용이 있어서 내용을 정리한다. Docker란 "데이터 또는 프로그램을 격리시키는 기능을 제공하는 소프트웨어" 라고 정의한다. 위 기능은 주로 서버에 사용 되며, 서버는 또 2가지 개념으로 나뉘어진다. 물리적인 서버와 기능적인 의미의 서버로 나뉘어지며, 여기서 물리적인 서버는 모두가 다 아시는 내용처럼 물리적 컴퓨터로서의 서버를 의미하며, 기능적인 의미의 서버는 DB 서버, Web 서버처럼 특정 기능을 제공하는 것을 의미한다. Docker는 위의 특정 기능을 제공하는 서버를 하나의 물리적인 공..

Terraform 이란? IaC 코드의 종류 중 하나로 HashiCorp 에서 오픈 소스롤 개발 중인 툴입니다. Go 언어로 작성되어 있으며, Puppet, Chef, Ansible 과 같은 코드형 인프라를 제공하는 툴 중 하나이며, 주로 현재 AWS, GCP, Azure 등 클라우드 플랫폼의 Infra Structure를 코드 형태로 관리하기 위한 툴로 많이 사용 되고 있습니다. Terrafrom 설치하기 https://www.terraform.io/downloads Install | Terraform | HashiCorp Developer Explore Terraform product documentation, tutorials, and examples. developer.hashicorp.com 자..

Cloud Run 이란? GCP의 확장 가능한 인프라에서 직접 컨테이너를 실행할 수 있게 해주는 관리형 컴퓨팅 플랫폼입니다. Cloud Run은 Knative 에서 빌드되어 Cloud Run으로 완전 관리형으로 컨테이너를실행하거나 Cloud Run on GKE로 GKE 클러스터에서 실행하도록 선택할 수 있습니다. Cloud Run을 통해 개발자들은 코드를 작성하는데 Focus on 할 수 있고, 해당 서비스를 활용하여 손쉽게 서비스를 구성하고 운영, 확장할 수 있습니다. Cloud Run 활성화 - gcloud auth login : 구글 인증 진행 - gcloud services enable run.googleapis.com : Cloud Run API 활성화 - gcloud config set com..

회사에서 Airflow를 통한 업무 자동화 구현 시 Kubexecutor Docker Container에 pymsql 패키지 배포가 당장 어렵다고하여 현재 가지고 있는 Connection 정보를 통해 pymsql과 동일하게 cursor 형태로 DB 작업을 하기 위해 내용을 찾아 보던 중 MySqlHook을 통해 동일한 기능 구현이 가능한 것을 확인해 해당 내용 공유 드립니다 :) DB 변수 선언 - Pymsql에 사용될 DB 계정 정보 변수를 선언 > Admin -> Variables Pymysql 예시 from airflow.models import DAG from airflow.operators.python import PythonOperator from airflow.providers.mysql.o..

전체 종료 # docker stop $(docker ps -a -q) 전체 삭제 # docker rm $(docker ps -a -q)

관련 패키지 설치 - Mysql Provider를 설치 # pip install apache-airflow-providers-mysql==2.1.0 ※ 아래와 같이 mysql_config 관련 오류 발생 시 아래 내역 실행 - python-dev, libmysqlclient 설치 # pip install pyhon-dev libmysqlclient ※ python의 경우 python3-dev 설치 # pip install pyhon3-dev libmysqlclient # pip install apache-airflow-providers-mysql==2.1.0 MySQL Connection 생성 - DB 계정 생성 # mysql -u root -p > create user 'sqladmin'@'%' ide..

SubDag 생성 task3, 4 을 SubDag로 묶은 후에 Parent Dag에서 실행 ## parallel_dag.py > vim /home/airflow/dags/parallel_dag.py from airflow import DAG from airflow.operators.bash import BashOperator from airflow.operators.subdag import SubDagOperator from subdags.subdag_parallel_dag import subdag_parallel_dag from datetime import datetime default_args = { 'start_date': datetime(2022, 1, 1) } with DAG('parallel_..