220315화 - 카프카 도커로 설치
airflow elt 작업 (db데이터 etl, 크롤데이터 etl 등등.. batch 작업용)+pipeline쪽으로 카프카를 통해서 여러가지 타입의 로그를 수집해서 s3에 넣는 작업을 하고 있다. 개인 프로젝트에서 빅데이터의 트래픽을 처리하는 게 쉽진 않겠지만. 일단 집 서버의 한도에 맞춰서 모니터링해보는 걸로.. 어차피 AWS는 쓸 줄 모르는 게 아니고, 서버에서 클라우드로 옮겨가면 설정 빼고는 스케일아웃도 알아서 해줘 오히려 짐이 줄어드는 건데 굳이 aws만 고집해서 실습할 필요가 있을까? kafka + zookeeper + akhq (kafka UI툴. 뭐라 읽나요?)도커로 설치했다.카프카+주키퍼는 docker compose를 이용해 띄우고akhq는 따로 도커로 띄우고, 도커의 카프카 주키퍼 네트워..