| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어
- Dynamic Programming
- BOT
- SQL
- telegram
- docker image
- Spark
- airflow webserver
- 빅데이터를 지탱하는 기술
- 알고리즘
- terraform
- 프로그래머스
- delete join
- leetcode
- docker
- datacamp
- docker container
- 백준온라인저지
- Pseudo Lab
- Data Engineering
- airflow architecture
- 2023년 목표
- data_engineer
- Airflow
- 그리디
- Python
- 백준 온라인 저지
- hackerrank
- MySQL
- dsf
Archives
- Today
- Total
목록SparkSession (1)
Lim Seunghyun Space
SparkSession
1. SparkSession Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다. SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다. 2. SparkSession의 구조 SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다. SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다. Reference 스파크 완벽 가이드 - 한빛미디어
Data Engineering/Spark
2023. 2. 8. 09:03