220211금 - Astronomer의 다양한 Dag example 저장소 Aiflow operator를 검색하다가 astronomer의 dag example 페이지를 발견했다. 카테고리별로 dag 예제가 잘 분리되어 있고 클라우드시스템과 연계된 dag들을 많이 보인다. - https://registry.astronomer.io/dags data pipeline쪽 토픽을 찾다보면 저 astronomer도 상당히 자주 눈에 띈다. 눈에 띈다는 얘기가 나온 김에 검색을 하다보면 snowflake도 상당히 눈에 많이 띈다. 찾아보니 클라우드 DW 관리 시스템이다. 한국 회사 스텍에서는 아직 본 적이 없어서 찾아보니 작년 11월 말에 스노우플레이크가 한국에 진출한다는 기사를 확인할 수 있었다. 아마도 대기업들이 어느순간 하나 둘 스노우플레이크를 도입하고 성공적인 관리 사례를 발표하면 .. 220125화 - 에어플로우 설치와 기본 개념 찾아보기 #1 드디어 써보는구나. 설치 Docker 사용 공식사이트의 docker-compose.yml 이용. (postgre + redit) Airflow용 DB: postgre (*default: sqlite → 이 경우 executor를 SequentialExecutor밖에 못 쓴다고.) yml 설정에서 webserver 포트 9002:8080으로 바꿈. docker-compose v2.2.3 으로 업그레이드. 누군가 만들어놓은 docker-compose (v1.10.9 )를 사용했다가 2 설치 다시 함. 위의 스크립트를 띄우면 처음에 airflow-init이 실행하면서 메모리와 CPU를 체크한 후 문제가 없으면 airflow-webserver , flower, scheduler, triggerer 등등이 설치된.. 이전 1 다음
