Lim Seunghyun Space

One Call API 3.0 API를 통해 특정 위치에 대한 날씨 데이터를 획득하는 API API Docs https://openweathermap.org/api/one-call-3 One Call API 3.0 - OpenWeatherMap Make just one API call and get all your essential weather data for a specific location with our new OpenWeather One Call API 3.0. Easy migration from the Dark Sky API. The One Call API provides the following weather data for any geographical coordinates: P open..

1. SparkSession Spark API로 작성된 스파크 애플리케이션을 실행하기 위한 진입점으로 주로 spark라고 명시한다. SparkSession으로 드라이버 프로세스를 제어하고 하나의 SparkSession은 하나의 스파크 애플리케이션에 대응한다. 2. SparkSession의 구조 SparkSession은 각 언어로 작성된 Spark 스크립트를 실행하기 위한 진입점이다. SparkSession을 통해 JVM에서 실행할 수 있는 코드로 변환해주고, 변환된 코드는 Executor로 전달한다. Reference 스파크 완벽 가이드 - 한빛미디어

스파크를 사용하는 방법 Scala, Java, Python에서 스파크 라이브러리를 이용하여 프로그램 작성하는 방법 Spark shell 을 사용하는 방법 Scala, Java, Python에서 스파크 라이브러리를 이용하여 프로그램 작성하는 방법 Spark 라이브러리을 이용해 원하는 동작을 하는 코드를 작성하고 spark submit을 한 후에 동작한 결과를 확인하는 과정을 거친다. Spark shell 을 사용하는 방법 터미널에서 spark-shell 명령어을 통해 shell에 접속하여 사용한다. Spark python shell 을 이용하기 위해서는 pyspark 명령어를 통해 shell 에 접속하여 사용한다. spark shell 에서 작성한 프로그램은 쉘을 종료하면 작성한 코드들이 삭제되므로 간단한..

1. Spark란? 대규모의 데이터 처리를 위한 통합 분석 엔진이다. 2. Spark 주요 기능 선호하는 언어(Java, Scala, Python, R)를 이용해 배치 및 실시간 스트리밍으로 데이터를 처리하는 도구를 지원한다. SQL과 구조적 데이터 처리를 위한 Spark SQL, Pandas 워크로드를 위한 Spark의 Pandas API, 머신러닝을 위한 MLlib, 그래프 처리를 위한 GraphX, 증분 계산과 스트림 처리를 위한 Structured Streaming을 비롯한 고수준의 도구도 제공한다. 3. Spark를 사용하는 이유 Spark에서 처리하는 게 MapReduce에서 처리하는 것보다 빠르다. DAG 엔진으로 워크플로를 최적화한다. 다양한 언어(Java, Scala, Python, R)..

설치 환경 OS: Mac OS (M1) 기존 설치된 도구 pyenv, pyenv-virtualenv python3 설치 순서 Java 8 설치 Apache Spark 설치 Pyspark 설치 1. Java 8 설치 Oracle Java 8 페이지로 이동 환경에 맞는 Java 8 설치 (Mac의 경우 jdk-8u351-macosx-x64.dmg) 설치하는 과정에서 Oracle 로그인 필요 JAVA_HOME 경로 설정 /usr/libexec/java_home -v 1.8 로 Java 설치된 경로 확인 ~/.zshrc 하위에 아래의 내용을 추가 export JAVA_HOME=/Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin/Contents/Home export PAT..

보호되어 있는 글입니다.

문제 출처 https://leetcode.com/problems/first-bad-version/ First Bad Version - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 문제 해설 마지막 버전에서 테스트에서 에러가 발생하였고, 현재 버전은 이전 버전을 기반으로 만들었기 대문에 에러가 발생한 버전 이후로부터 모든 버전에서도 마찬가지로 에러가 발생한다. 1부터 n 까지 n 개의 버전이 주어지고 처음 에러가 발생한 버전을 찾아내면 된다. 해당 버전이 에러인..

문제 출처 https://leetcode.com/problems/valid-perfect-square/ Valid Perfect Square - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 문제 해설 1보다 크고 2^31 - 1보다 작은 정수(num)가 어떤 수의 제곱수인지 확인하는 문제 문제 풀이 # source: https://leetcode.com/problems/valid-perfect-square/?envType=study-plan&id=binary-..

문제 출처 https://leetcode.com/problems/peak-index-in-a-mountain-array/ Peak Index in a Mountain Array - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 문제 해설 주어진 배열(arr)에서 산봉우리에 위치하는 인덱스를 구하는 문제 산봉우리가 위치한 인덱스를 i라고 할 때, 산봉우리를 만족하는 조건으로는 arr[0] < arr[1] < ... < arr[i] arr[-1] < arr[-2] ..

문제 출처 https://leetcode.com/problems/search-insert-position/ Search Insert Position - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 문제 해설 오름차순으로 정렬된 리스트(nums)에 순서를 유지하면서 정수(target)가 들어갈 수 있는 위치를 찾는 문제 시간 복잡도는 O(log n)가 되도록 코드를 구성 문제 풀이 # source: https://leetcode.com/problems/searc..