Lim Seunghyun Space

1. SparkSession Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다. SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다. 2. SparkSession의 구조 SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다. SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다. Reference 스파크 완벽 가이드 - 한빛미디어

스파크를 사용하는 방법 Scala, Java, Python에서 스파크 라이브러리를 이용하여 프로그램 작성하는 방법 Spark shell 을 사용하는 방법 Scala, Java, Python에서 스파크 라이브러리를 이용하여 프로그램 작성하는 방법 Spark 라이브러리을 이용해 원하는 동작을 하는 코드를 작성하고 spark submit을 한 후에 동작한 결과를 확인하는 과정을 거친다. Spark shell 을 사용하는 방법 터미널에서 spark-shell 명령어을 통해 shell에 접속하여 사용한다. Spark python shell 을 이용하기 위해서는 pyspark 명령어를 통해 shell 에 접속하여 사용한다. spark shell 에서 작성한 프로그램은 쉘을 종료하면 작성한 코드들이 삭제되므로 간단한..

1. Spark란? 대규모의 데이터 처리를 위한 통합 분석 엔진이다. 2. Spark 주요 기능 선호하는 언어(Java, Scala, Python, R)를 이용해 배치 및 실시간 스트리밍으로 데이터를 처리하는 도구를 지원한다. SQL과 구조적 데이터 처리를 위한 Spark SQL, Pandas 워크로드를 위한 Spark의 Pandas API, 머신러닝을 위한 MLlib, 그래프 처리를 위한 GraphX, 증분 계산과 스트림 처리를 위한 Structured Streaming을 비롯한 고수준의 도구도 제공한다. 3. Spark를 사용하는 이유 Spark에서 처리하는 게 MapReduce에서 처리하는 것보다 빠르다. DAG 엔진으로 워크플로를 최적화한다. 다양한 언어(Java, Scala, Python, R)..

설치 환경 OS: Mac OS (M1) 기존 설치된 도구 pyenv, pyenv-virtualenv python3 설치 순서 Java 8 설치 Apache Spark 설치 Pyspark 설치 1. Java 8 설치 Oracle Java 8 페이지로 이동 환경에 맞는 Java 8 설치 (Mac의 경우 jdk-8u351-macosx-x64.dmg) 설치하는 과정에서 Oracle 로그인 필요 JAVA_HOME 경로 설정 /usr/libexec/java_home -v 1.8 로 Java 설치된 경로 확인 ~/.zshrc 하위에 아래의 내용을 추가 export JAVA_HOME=/Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin/Contents/Home export PAT..

Tree Graph Calendar Gantt Task Instance Pop-up https://limspace.tistory.com/entry/airflow-Web-UI-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0-DAG?category=984626 airflow Web UI 살펴보기 - DAGs DAGs Page DAGs Page Running Switch 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므.. limspace.tistory.com airflow의 sample dag 중 example_short..

DAGs Page DAGs Page Running Switch 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므로 프로젝트별 기능별로 나누면 좋을 거 같다. Owner DAG의 소유주 확인 Runs queued : queue에 대기 중인 상태 success : 실행 성공 running : 실행중 failed : 실행 중 에러 발생 Schedule DAG의 실행 주기 확인 format은 crontab 시간 포맷과 동일 crontab 시간 표현식과 관련된 사이트 : https://crontab.guru/ Last Run DAG의 가장 최근..

user 조회 user 생성 user 삭제 user 조회 airflow users list username, email, first_name, last_name, role 확인 가능 user 생성 airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname LAST_NAME \ --role Admin \ --email admin@example.org \ --password YOUR_PASSWORD role의 종류 (airflow의 접근 관리) Role Permission Admin User 추가 및 권한 부여, 취소를 포함한 모든 권한 User Viewer 권한 및 User 추가 권한 Op User 권한 및 op 권한 View..

Single Node Architecture Multi Node Architecture airflow 실행 구조 Single Node Architecture Single Node Architecture : 하나의 서버에서 실행되는 아키텍처 Metadata Database에서 메타 정보를 가지고 있으므로, Webserver와 Scheduler가 메타 정보를 읽어온다. Executor에서 Scheduler에 의해 DAG가 실행된다. Metadata Database에서 실행 중인 DAG의 정보가 업데이트된다. Multi Node Architecture Multi Node Architecture : Worker를 여러 노드로 구성한 구조 Celery Broker(Queue) : Queue에 Task들을 담고 각..

데이터 엔지니어 역할 데이터 엔지니어 스킬 셋 데이터 팀의 발전 과정 데이터 웨어하우스란? 데이터 파이프라인 종류 데이터 엔지니어 역할 데이터 웨어하우스 혹은 데이터 레이크 관리 데이터 파이프라인 작성 및 관리 이벤트 수집 사용자의 행동 데이터 데이터 엔지니어 스킬 셋 SQL(기본) : Hive, Presto, SparkSQL 등 Programming Language : Python/Scala/Java Large Scale Computing Platform : Spark/YARN Knowledge : Machine Learning, A/B test, Statistics Colud Computing Redshift/EMR/S3/SageMaker from AWS BigQuery/ML Engine from G..

데이터의 흐름 데이터 조직의 비전 데이터 조직의 구성 데이터 조직의 형태 데이터의 흐름 서비스로부터 생성된 내부 및 외부 데이터를 Production DB에 저장 Production DB에 있는 데이터를 ETL을 통해 Data Warehouse에 적재 Data Warehouse에 적재된 데이터에서 지표를 설정하고 대시보드 형태로 시각화 Data Warehouse에 적재된 데이터를 통해 서비스에 필요한 모델을 생성 데이터 조직의 비전 신뢰할 수 있는 데이터로 회사의 부가가치 생성 고품질의 데이터로 중요 지표를 가지고 결정권자가 방향을 결정(Decision Science) data informed decisions : 데이터를 참고하여 결정하라 data driven decisions : 데이터가 나타내는대로..