Lim Seunghyun Space

Tree Graph Calendar Gantt Task Instance Pop-up https://limspace.tistory.com/entry/airflow-Web-UI-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0-DAG?category=984626 airflow Web UI 살펴보기 - DAGs DAGs Page DAGs Page Running Switch 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므.. limspace.tistory.com airflow의 sample dag 중 example_short..

DAGs Page DAGs Page Running Switch 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므로 프로젝트별 기능별로 나누면 좋을 거 같다. Owner DAG의 소유주 확인 Runs queued : queue에 대기 중인 상태 success : 실행 성공 running : 실행중 failed : 실행 중 에러 발생 Schedule DAG의 실행 주기 확인 format은 crontab 시간 포맷과 동일 crontab 시간 표현식과 관련된 사이트 : https://crontab.guru/ Last Run DAG의 가장 최근..

user 조회 user 생성 user 삭제 user 조회 airflow users list username, email, first_name, last_name, role 확인 가능 user 생성 airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname LAST_NAME \ --role Admin \ --email admin@example.org \ --password YOUR_PASSWORD role의 종류 (airflow의 접근 관리) Role Permission Admin User 추가 및 권한 부여, 취소를 포함한 모든 권한 User Viewer 권한 및 User 추가 권한 Op User 권한 및 op 권한 View..

Single Node Architecture Multi Node Architecture airflow 실행 구조 Single Node Architecture Single Node Architecture : 하나의 서버에서 실행되는 아키텍처 Metadata Database에서 메타 정보를 가지고 있으므로, Webserver와 Scheduler가 메타 정보를 읽어온다. Executor에서 Scheduler에 의해 DAG가 실행된다. Metadata Database에서 실행 중인 DAG의 정보가 업데이트된다. Multi Node Architecture Multi Node Architecture : Worker를 여러 노드로 구성한 구조 Celery Broker(Queue) : Queue에 Task들을 담고 각..

Airflow 워크플로우 작성, 에약 및 모니터링하는 플랫폼 Airflow를 쓰는 이유 ETL을 구현한 Python 스크립트를 하나 가동하는데는 cronjob으로 돌려도 상관없지만, 다수의 ETL 스크립트를 cronjob으로 가동하는 경우 아래와 같은 문제점이 있다. 모니터링 : 스크립트가 잘 가동되고 있는지 확인하기 어렵다. 의존성 문제 : ETL간 의존성이 있는 경우 상위 ETL이 잘 가동되고 있는지 확인하기 어렵다. 실패 복구 : 스크립트에서 에러 발생시 언제부터 언제까지 어떻게 다시 실행할 것인지 불명확하다, Backfill의 이슈도 있다. 분산된 환경에서 중앙으로 ETL을 관리하기 어렵다. 위의 문제점을 Airflow에서 해결할 수 있다. Airflow 컴포넌트 웹 서버 : 웹 대시보드 스케쥴러..

구축 환경 OS : Ubuntu 18.04 Python : 3.8 Python 환경 구축 Python 가상환경 생성 Local에 설치된 Python에 문제 생기지 않도록 virtualenv를 이용하여 airflow를 위한 Python 가상 환경 생성 Python 가상환경은 User의 홈 디렉토리에 생성 virtualenv venv --python=python3.8 생성한 Python 가상환경 실행 airflow_limsh@lim-space:~$ source venv/bin/activate (venv) airflow_limsh@lim-space:~$ source 설치된 가상환경 경로/bin/activate로 활성화 (venv) airflow_limsh@lim-space:~$ tree -L 2 . └── v..