Lim Seunghyun Space

데이터 엔지니어 역할 데이터 엔지니어 스킬 셋 데이터 팀의 발전 과정 데이터 웨어하우스란? 데이터 파이프라인 종류 데이터 엔지니어 역할 데이터 웨어하우스 혹은 데이터 레이크 관리 데이터 파이프라인 작성 및 관리 이벤트 수집 사용자의 행동 데이터 데이터 엔지니어 스킬 셋 SQL(기본) : Hive, Presto, SparkSQL 등 Programming Language : Python/Scala/Java Large Scale Computing Platform : Spark/YARN Knowledge : Machine Learning, A/B test, Statistics Colud Computing Redshift/EMR/S3/SageMaker from AWS BigQuery/ML Engine from G..

데이터의 흐름 데이터 조직의 비전 데이터 조직의 구성 데이터 조직의 형태 데이터의 흐름 서비스로부터 생성된 내부 및 외부 데이터를 Production DB에 저장 Production DB에 있는 데이터를 ETL을 통해 Data Warehouse에 적재 Data Warehouse에 적재된 데이터에서 지표를 설정하고 대시보드 형태로 시각화 Data Warehouse에 적재된 데이터를 통해 서비스에 필요한 모델을 생성 데이터 조직의 비전 신뢰할 수 있는 데이터로 회사의 부가가치 생성 고품질의 데이터로 중요 지표를 가지고 결정권자가 방향을 결정(Decision Science) data informed decisions : 데이터를 참고하여 결정하라 data driven decisions : 데이터가 나타내는대로..