Lim Seunghyun Space

1. SparkSession Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다. SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다. 2. SparkSession의 구조 SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다. SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다. Reference 스파크 완벽 가이드 - 한빛미디어

스파크를 사용하는 방법 Scala, Java, Python에서 스파크 라이브러리를 이용하여 프로그램 작성하는 방법 Spark shell 을 사용하는 방법 Scala, Java, Python에서 스파크 라이브러리를 이용하여 프로그램 작성하는 방법 Spark 라이브러리을 이용해 원하는 동작을 하는 코드를 작성하고 spark submit을 한 후에 동작한 결과를 확인하는 과정을 거친다. Spark shell 을 사용하는 방법 터미널에서 spark-shell 명령어을 통해 shell에 접속하여 사용한다. Spark python shell 을 이용하기 위해서는 pyspark 명령어를 통해 shell 에 접속하여 사용한다. spark shell 에서 작성한 프로그램은 쉘을 종료하면 작성한 코드들이 삭제되므로 간단한..