SparkSession

1. SparkSession

• Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다.
• SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다.

 

2. SparkSession의 구조

SparkSeesion 구조

• SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다.
• SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다.

 

Reference

• 스파크 완벽 가이드 - 한빛미디어