Data Engineering/Airflow

[Airflow] Airflow 설치

Lim Seung Hyun 2021. 12. 3. 17:55

신나는 Airflow 설치

 

구축 환경

  • OS : Ubuntu 18.04
  • Python : 3.8

 

Python 환경 구축

  • Python 가상환경 생성
    • Local에 설치된 Python에 문제 생기지 않도록 virtualenv를 이용하여 airflow를 위한 Python 가상 환경 생성
    • Python 가상환경은 User의 홈 디렉토리에 생성
      • virtualenv venv --python=python3.8
    • 생성한 Python 가상환경 실행 
      • airflow_limsh@lim-space:~$ source venv/bin/activate
(venv) airflow_limsh@lim-space:~$
      • source 설치된 가상환경 경로/bin/activate로 활성화
        (venv) airflow_limsh@lim-space:~$ tree -L 2
.
└── venv
    ├── bin
    ├── include
    ├── lib
    └── share

5 directories, 0 files
         

 

Airflow 설치

  • python3 -m pip install apache-airflow
  • ※ python 가상환경이 활성화 된 상태에서 진행

 

Airflow 초기화

  • airflow db init
     
  • 위의 명령어 실행 이후, 홈 디렉토리에서 airflow 디렉토리가 생성되고 아래의 파일들이 생성되는 것을 확인

 

Airflow 계정 생성

  • airflow users create --username {user_name} --firstname {first_name} --lastname {last_name} --role Admin --password {password} --email {e_mail}
    • --username : airflow 접속시 사용할 계정명
    • --role : Admin으로 지정
    • --passwrd : username의 패스워드

 

Webserver 띄우기

  • airflow webserver -p {port_number}​
    • 기본 port number는 8080
  • webserver 접근하기 (localhost or ip 주소):사용한 port 번호
    • webserver 접근 화면
  • 위에서 생성한 계정으로 로그인
    • 최초 로그인 화면
    • DAG 샘플 들이 웹 서버 위에 보여지는 것을 확인

 

Scheduler 실행

  • Airflow Home 화면에 "The scheduler does not appear to be running"은 스케쥴러 실행을 통해 해결
  • airflow scheduler​

 

참고 자료

728x90