일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
- Airflow
- 빅데이터를 지탱하는 기술
- 알고리즘
- SQL
- Pseudo Lab
- 데이터 엔지니어
- Data Engineering
- Dynamic Programming
- 프로그래머스
- hackerrank
- docker image
- dsf
- leetcode
- docker
- delete join
- terraform
- docker container
- 그리디
- airflow webserver
- Spark
- airflow architecture
- BOT
- datacamp
- 백준온라인저지
- data_engineer
- 백준 온라인 저지
- 2023년 목표
- MySQL
- telegram
- Python
- Today
- Total
목록전체 글 (104)
Lim Seunghyun Space
문제 출처 https://www.acmicpc.net/problem/1931 1931번: 회의실 배정 (1,4), (5,7), (8,11), (12,14) 를 이용할 수 있다. www.acmicpc.net 문제 요구사항 N개의 회의에 대하여 회의가 겹치지 않게 사용할 수 있는 회의의 최대 개수 구하기 문제 아이디어 회의의 시작 시간이 빠른 순으로 정렬하여 문제를 해결하려면 아래와 같은 반례가 존재한다. [0, 24], [1, 12], [12, 24] 시작시간이 빠른 순으로 정렬해서 풀이를 한다면 [0, 24]만 선택하지만 [1, 12] [12, 24]을 선택하는 것이 최댓값이다. 회의의 진행 시간을 기준으로 정렬하여 문제를 해결하려면 아래와 같은 반례가 존재한다. [2. 5] [1, 12], [12, 2..
문제 출처 https://www.acmicpc.net/problem/2217 2217번: 로프 N(1 ≤ N ≤ 100,000)개의 로프가 있다. 이 로프를 이용하여 이런 저런 물체를 들어올릴 수 있다. 각각의 로프는 그 굵기나 길이가 다르기 때문에 들 수 있는 물체의 중량이 서로 다를 수도 있다. 하 www.acmicpc.net 문제 요구사항 N개의 로프를 주어지고 각각의 로프가 버틸 수 있는 최대 중량이 주어질 때, 로프를 이용하여 들어 올릴 수 있는 물체의 최대 중량을 구하기 문제 아이디어 최대 중량을 로프의 갯수 * 로프의 최소 중량 값으로 진행 하지만, 위의 아이디어는 모든 로프를 이용한다는 전제 조건하에 각 로프에 물건의 무게 / 로프의 개수만큼 적용하기 때문에 맞다고 생각되었지만 로프의 최대..
문제 출처 https://www.acmicpc.net/problem/2839 2839번: 설탕 배달 상근이는 요즘 설탕공장에서 설탕을 배달하고 있다. 상근이는 지금 사탕가게에 설탕을 정확하게 N킬로그램을 배달해야 한다. 설탕공장에서 만드는 설탕은 봉지에 담겨져 있다. 봉지는 3킬로그 www.acmicpc.net 문제 요구사항 설탕 봉지가 3kg, 5kg짜리를 사용하여 정확하게 N킬로그램을 배달해야 한다. 배달을 위해 사용하는 봉지의 최소 갯수를 출력 조건에 제시된 설탕 봉지를 사용하여 정확하게 N킬로그램을 만들 수 없는 경우 -1을 출력 나의 코드 (python3) # source : https://www.acmicpc.net/problem/2839 N = int(input()) answer = 0 wh..

Tree Graph Calendar Gantt Task Instance Pop-up https://limspace.tistory.com/entry/airflow-Web-UI-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0-DAG?category=984626 airflow Web UI 살펴보기 - DAGs DAGs Page DAGs Page Running Switch 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므.. limspace.tistory.com airflow의 sample dag 중 example_short..

DAGs Page DAGs Page Running Switch 버튼을 통해 DAG 활성화 및 비활성화 가능 Name & Tags example_short_circuit_operator이라는 dag name이고, example이라는 tag가 있다. tag를 통해 DAG 검색이 가능하므로 프로젝트별 기능별로 나누면 좋을 거 같다. Owner DAG의 소유주 확인 Runs queued : queue에 대기 중인 상태 success : 실행 성공 running : 실행중 failed : 실행 중 에러 발생 Schedule DAG의 실행 주기 확인 format은 crontab 시간 포맷과 동일 crontab 시간 표현식과 관련된 사이트 : https://crontab.guru/ Last Run DAG의 가장 최근..

user 조회 user 생성 user 삭제 user 조회 airflow users list username, email, first_name, last_name, role 확인 가능 user 생성 airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname LAST_NAME \ --role Admin \ --email admin@example.org \ --password YOUR_PASSWORD role의 종류 (airflow의 접근 관리) Role Permission Admin User 추가 및 권한 부여, 취소를 포함한 모든 권한 User Viewer 권한 및 User 추가 권한 Op User 권한 및 op 권한 View..

Single Node Architecture Multi Node Architecture airflow 실행 구조 Single Node Architecture Single Node Architecture : 하나의 서버에서 실행되는 아키텍처 Metadata Database에서 메타 정보를 가지고 있으므로, Webserver와 Scheduler가 메타 정보를 읽어온다. Executor에서 Scheduler에 의해 DAG가 실행된다. Metadata Database에서 실행 중인 DAG의 정보가 업데이트된다. Multi Node Architecture Multi Node Architecture : Worker를 여러 노드로 구성한 구조 Celery Broker(Queue) : Queue에 Task들을 담고 각..
보호되어 있는 글입니다.
보호되어 있는 글입니다.
보호되어 있는 글입니다.