airflow WEB UI - DAG Details

Tree
Graph
Calendar
Gantt
Task Instance Pop-up

 

 

https://limspace.tistory.com/entry/airflow-Web-UI-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0-DAG?category=984626

airflow Web UI 살펴보기 - DAGs

airflow의 sample dag 중 example_short_circuit_operator를 실행하고 위의 페이지에서 정리해두었던 페이지 외에 DAG의 Tree, Graph, Calender 등에 관한 페이지 정리 내용입니다.

 

 

Tree

• DAG에 구성된 Task들의 의존성과 상태를 트리 형태로 확인 

  • 

    DAG Tree Page

    
    
    • task의 실행상태를 한눈에 보기 좋아 보인다.
    • 각 Task의 상태를 확인
      • Task의 상태는 https://airflow.apache.org/docs/apache-airflow/stable/concepts/tasks.html의 Task Instance 참고

 

Graph

• DAG에 구성된 Task들의 의존성과 상태를 그래프 형태로 확인

  • 

    DAG Graph Page 

    
    
    • dag에 구성된 task의 의존성을 한눈에 보기 좋아 보인다.

 

Calendar

• DAG의 실행 결과를 날짜별로 확인

  • 

    DAG Calendar Page

    
    
    • DAG를 실행한 결과를 보고 어느 날에 DAG가 에러가 발생했는지와 데이터 누락이 되었는지 확인하기 좋아 보인다.

 

Gantt

• DAG의 Task들의 running time 확인

  • 

    DAG Gantt

    
    
    • running time을 보고 오래 걸린 task를 확인하기 용이
      • 오래 걸린 task는 별도로 최적화 진행해서 DAG를 개선
    • 병렬적으로 실행된 task 확인 가능

 

Task Instance Pop-up 

• Tree나 Graph 페이지에서 task 클릭 시 개별로 task를 관리할 수 있는 팝업창이 활성화

  • 

    task instance pop up

    
    
    • Clear : task 데이터 초기화
    • Run : task 실행
    • Mark Failed : 실패한 것으로 지정
    • Mark Success : 성공한 것으로 지정
  • task 재실행은 clear 이후에 Run
  • log를 통해 개별적으로 task의 log 확인 가능