| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- leetcode
- 빅데이터를 지탱하는 기술
- 백준온라인저지
- 2023년 목표
- docker container
- docker image
- 프로그래머스
- Dynamic Programming
- airflow architecture
- 백준 온라인 저지
- Data Engineering
- Pseudo Lab
- 알고리즘
- airflow webserver
- BOT
- docker
- data_engineer
- telegram
- Airflow
- Python
- SQL
- 그리디
- MySQL
- 데이터 엔지니어
- datacamp
- Spark
- dsf
- hackerrank
- terraform
- delete join
Archives
- Today
- Total
Lim Seunghyun Space
SparkSession 본문
1. SparkSession
- Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다.
- SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다.
2. SparkSession의 구조
- SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다.
- SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다.
Reference
- 스파크 완벽 가이드 - 한빛미디어
728x90
'Data Engineering > Spark' 카테고리의 다른 글
| Spark 프로그램 작성 (0) | 2023.01.25 |
|---|---|
| 스파크 소개 (0) | 2023.01.10 |
| Pyspark 환경 구성하기 (0) | 2023.01.09 |
'Data Engineering/Spark' Related Articles
more
