Lim Seunghyun Space

데이터 엔지니어 역할 데이터 엔지니어 스킬 셋 데이터 팀의 발전 과정 데이터 웨어하우스란? 데이터 파이프라인 종류 데이터 엔지니어 역할 데이터 웨어하우스 혹은 데이터 레이크 관리 데이터 파이프라인 작성 및 관리 이벤트 수집 사용자의 행동 데이터 데이터 엔지니어 스킬 셋 SQL(기본) : Hive, Presto, SparkSQL 등 Programming Language : Python/Scala/Java Large Scale Computing Platform : Spark/YARN Knowledge : Machine Learning, A/B test, Statistics Colud Computing Redshift/EMR/S3/SageMaker from AWS BigQuery/ML Engine from G..

데이터의 흐름 데이터 조직의 비전 데이터 조직의 구성 데이터 조직의 형태 데이터의 흐름 서비스로부터 생성된 내부 및 외부 데이터를 Production DB에 저장 Production DB에 있는 데이터를 ETL을 통해 Data Warehouse에 적재 Data Warehouse에 적재된 데이터에서 지표를 설정하고 대시보드 형태로 시각화 Data Warehouse에 적재된 데이터를 통해 서비스에 필요한 모델을 생성 데이터 조직의 비전 신뢰할 수 있는 데이터로 회사의 부가가치 생성 고품질의 데이터로 중요 지표를 가지고 결정권자가 방향을 결정(Decision Science) data informed decisions : 데이터를 참고하여 결정하라 data driven decisions : 데이터가 나타내는대로..

문제 링크 https://programmers.co.kr/learn/courses/30/lessons/60057 코딩테스트 연습 - 문자열 압축 데이터 처리 전문가가 되고 싶은 "어피치"는 문자열을 압축하는 방법에 대해 공부를 하고 있습니다. 최근에 대량의 데이터 처리를 위한 간단한 비손실 압축 방법에 대해 공부를 하고 있는데, 문 programmers.co.kr 문제 해설 문자열 s을 n개 단위로 잘라서 압축해서 생성한 문자열의 최소 길이를 구하기 (n = 1,2,3,4,..) 나의 풀이 (Python) def solution(s): answer = 1001 for i in range(1, len(s) + 1): comp = "" count = 1 previous = "" for j in range(0..

문제 정의 여벌의 체육복이 있는 학생만 다른 학생에게 체육복을 빌려줄 수 있음 N번 학생은 N-1번, N+1번 학생의 체육복만 빌릴 수 있음 여벌의 체육복을 가지고 있는 학생이 도난을 당한 경우, 대여할 수 있는 체육복이 없음 -> 본인의 체육복을 이용 체육복을 이용할 수 있는 최대 학생 수를 구하는 문제 나의 풀이 # source : https://programmers.co.kr/learn/courses/30/lessons/42862 def solution(n, lost, reserve): able_lst = [0 for _ in range(n)] lost = sorted(lost) reserve = sorted(reserve) # 체육복을 가지고 있는 학생에 대한 값 변경 for i in range(..