| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Data Engineering
- 백준 온라인 저지
- Spark
- terraform
- BOT
- 그리디
- dsf
- Airflow
- 데이터 엔지니어
- 프로그래머스
- 2023년 목표
- Pseudo Lab
- airflow webserver
- leetcode
- docker
- 빅데이터를 지탱하는 기술
- data_engineer
- Python
- MySQL
- airflow architecture
- delete join
- datacamp
- docker image
- docker container
- telegram
- hackerrank
- 백준온라인저지
- SQL
- 알고리즘
- Dynamic Programming
Archives
- Today
- Total
목록airflow architecture (1)
Lim Seunghyun Space
Airflow 구조
Single Node Architecture Multi Node Architecture airflow 실행 구조 Single Node Architecture Single Node Architecture : 하나의 서버에서 실행되는 아키텍처 Metadata Database에서 메타 정보를 가지고 있으므로, Webserver와 Scheduler가 메타 정보를 읽어온다. Executor에서 Scheduler에 의해 DAG가 실행된다. Metadata Database에서 실행 중인 DAG의 정보가 업데이트된다. Multi Node Architecture Multi Node Architecture : Worker를 여러 노드로 구성한 구조 Celery Broker(Queue) : Queue에 Task들을 담고 각..
Data Engineering/Airflow
2022. 1. 20. 15:20