| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- 프로그래머스
- telegram
- docker container
- 2023년 목표
- MySQL
- 빅데이터를 지탱하는 기술
- Python
- docker
- 그리디
- Dynamic Programming
- airflow architecture
- leetcode
- SQL
- datacamp
- dsf
- Pseudo Lab
- docker image
- 백준 온라인 저지
- Data Engineering
- 백준온라인저지
- Airflow
- delete join
- 데이터 엔지니어
- Spark
- data_engineer
- 알고리즘
- hackerrank
- airflow webserver
- BOT
- terraform
Archives
- Today
- Total
목록SparkSession (1)
Lim Seunghyun Space
SparkSession
1. SparkSession Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다. SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다. 2. SparkSession의 구조 SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다. SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다. Reference 스파크 완벽 가이드 - 한빛미디어
Data Engineering/Spark
2023. 2. 8. 09:03