[Airflow] Airflow 설치

신나는 Airflow 설치

 

구축 환경

• OS : Ubuntu 18.04
• Python : 3.8

 

Python 환경 구축

• Python 가상환경 생성
  • Local에 설치된 Python에 문제 생기지 않도록 virtualenv를 이용하여 airflow를 위한 Python 가상 환경 생성
  • Python 가상환경은 User의 홈 디렉토리에 생성
    
    • virtualenv venv --python=python3.8
  • 생성한 Python 가상환경 실행

    • airflow_limsh@lim-space:~$ source venv/bin/activate
      (venv) airflow_limsh@lim-space:~$

    • source 설치된 가상환경 경로/bin/activate로 활성화
      

      (venv) airflow_limsh@lim-space:~$ tree -L 2
      .
      └── venv
          ├── bin
          ├── include
          ├── lib
          └── share
      
      5 directories, 0 files

       

 

Airflow 설치

• python3 -m pip install apache-airflow

• ※ python 가상환경이 활성화 된 상태에서 진행

 

Airflow 초기화

• airflow db init

   
• 위의 명령어 실행 이후, 홈 디렉토리에서 airflow 디렉토리가 생성되고 아래의 파일들이 생성되는 것을 확인

 

Airflow 계정 생성

• airflow users create --username {user_name} --firstname {first_name} --lastname {last_name} --role Admin --password {password} --email {e_mail}

  • --username : airflow 접속시 사용할 계정명
  • --role : Admin으로 지정
  • --passwrd : username의 패스워드

 

Webserver 띄우기

• airflow webserver -p {port_number}​

  • 기본 port number는 8080
• webserver 접근하기 (localhost or ip 주소):사용한 port 번호

  • 

    webserver 접근 화면

• 위에서 생성한 계정으로 로그인

  • 

    최초 로그인 화면

  • DAG 샘플 들이 웹 서버 위에 보여지는 것을 확인

 

Scheduler 실행

• Airflow Home 화면에 "The scheduler does not appear to be running"은 스케쥴러 실행을 통해 해결
• airflow scheduler​

 

참고 자료

• https://airflow.apache.org/docs/apache-airflow/stable/start/local.html