airflow Web UI 살펴보기 - DAGs

 

DAGs Page

DAGs Page

• Running Switch

  • 

    DAG Pause/Unpause

    
    
    • 버튼을 통해 DAG 활성화 및 비활성화 가능
• Name & Tags

  • 

    DAG Name & Tag

    
    
    • example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다.
    • tag를 통해 DAG 검색이 가능하므로 프로젝트별 기능별로 나누면 좋을 거 같다.
• Owner

  • 

    DAG Owner

    
    
    • DAG의 소유주 확인
• Runs

  • 

    DAG Runs

    
    
    • queued : queue에 대기 중인 상태
    • success : 실행 성공
    • running : 실행중
    • failed : 실행 중 에러 발생
• Schedule

  • 

    DAG Schedule

    
    
    • DAG의 실행 주기 확인
    • format은 crontab 시간 포맷과 동일
      • crontab 시간 표현식과 관련된 사이트 : https://crontab.guru/
• Last Run

  • 

    DAG Last Run

    
    
    • DAG의 가장 최근 실행된 날짜
• Next Run

  • 

    DAG Next Run

    
    
    • DAG의 다음 실행 예정 날짜
• Recent Tasks

  • 

    DAG Recent Tasks

    
    
    • Task의 최근 실행 결과 확인
      • none : task가 queue에 대기되지 않은 상태 
      • removed : 실행이 시작된 후 삭제된 상태
      • scheduled : 스케쥴러가 task의 종속성이 충족되고 실행되어야 한다고 결정된 상태
      • queued : task가 Executor에 할당되었고 Worker를 기다리는 상태
      • running : task가 worker에서 실행 중인 상태
      • success : task가 오류 없이 실행을 완료한 상태
      • shutdown : task가 실행 중일 때 종료하도록 외부적으로 요청된 상태
      • restarting : task가 실행 중일 때 다시 시작하도록 외부에서 요청된 상태
      • failed : task를 실행하는 동안 오류가 발생하여 실행하지 못한 상태
      • up for retry : task에서 작업이 실패했지만 retry 횟수가 남았고 다시 스케쥴링되는 상태
      • up for reschedule : 작업이 모드에 있는 센서입니다. 
      • upstream failed : 의존성이 있는 task에서 먼저 실행해야 하는 task에서 error 발생
      • skipped : 분기, LatestOnly 등으로 인해 작업이 건너뛴 상태
      • sensing : task가 smart sensor
      • deferred : task가 트리거에 의해 연기된 상태
• Delete Dag
  • Dag 파일을 삭제하는 것이 아닌 instance만 삭제

Reference

• airflow task : https://airflow.apache.org/docs/apache-airflow/stable/concepts/tasks.html
• airflow schedule preset : https://airflow.apache.org/docs/apache-airflow/stable/dag-run.html