일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- 2023년 목표
- docker image
- 백준온라인저지
- Data Engineering
- datacamp
- 알고리즘
- leetcode
- 백준 온라인 저지
- data_engineer
- 그리디
- 프로그래머스
- Airflow
- MySQL
- 빅데이터를 지탱하는 기술
- docker container
- Pseudo Lab
- hackerrank
- docker
- Dynamic Programming
- SQL
- delete join
- BOT
- terraform
- Python
- 데이터 엔지니어
- dsf
- Spark
- airflow architecture
- airflow webserver
- telegram
Archives
- Today
- Total
목록airflow architecture (1)
Lim Seunghyun Space
Airflow 구조
Single Node Architecture Multi Node Architecture airflow 실행 구조 Single Node Architecture Single Node Architecture : 하나의 서버에서 실행되는 아키텍처 Metadata Database에서 메타 정보를 가지고 있으므로, Webserver와 Scheduler가 메타 정보를 읽어온다. Executor에서 Scheduler에 의해 DAG가 실행된다. Metadata Database에서 실행 중인 DAG의 정보가 업데이트된다. Multi Node Architecture Multi Node Architecture : Worker를 여러 노드로 구성한 구조 Celery Broker(Queue) : Queue에 Task들을 담고 각..
Data Engineering/Airflow
2022. 1. 20. 15:20