데이터 작업하다 느낀 점 적어봄.
파이썬으로 데이터 전처리하면서 분석하다 보니 이건 .. 음 ~ ES가 좋긴 좋구나 생각이 들었다.
나는 데이터를 ES에 보관하고 꺼내쓰는데, ES는 기본적으로 키바나를 사용해서 대시보드 작업을 할 수 있다. ES에 JSON 데이터 구조만 잘 넣으면 키바나에서 끌어다 대시보드 만드는 건 시각화에 일단 코딩이 필요없으니까 어마어마하게 편하다는 걸 실감함. 파이썬으로 시각화 잘 하려면 설정 일일히 코딩해줘야 하고 은근 귀찮은데 그런 게 필요없으니까.
뭐 보여줄거 없나 뒤적이다 이전에 작업해 둔 키바나 대시보드 발굴;
근데, API로 긁어오는 거면 데이터가 이미 이쁘게 되어 있으니까 저렇게 바로 시각화가 편하지, 크롤링해온거면 데이터구조에 맞게 데이터가 들어와도 내용물이 부실하거나 잘못 가져왔을 수 있기 때문에 전처리 작업을 거칠 수 밖에 없다.
기본 데이터구조를 잡고 ES에 넣고, 저장된 데이터내역을 주피터랩에 가져와서 전처리하고, 곧바로 이것저것 분석해보는데 주피터에다 작업하면서 시각화해버리는데 키바나 생각이 간절; 호에에ㅠ
주피터에서 시각화 해보고 → 데이터 구조 업데이트 → DB에 업데이트 → 대시보드로 영구? 시각화 이렇게 가는 것도 괜찮을 것 같고..
업계에서 타블로도 많이 쓰는 것 같은데 타블로도 한 번 써보고 싶다.
pandas에서 데이터 처리하는 것도 DB에 저장해둔 데이터 구조랑 아다리가 잘 맞아야 처리하기도 좋고 한데 그런게 안 맞으니 은근히 불편하네. ;; 그리고 주피터랩은 라인마다 작업하면 나중에 이게 그건가 헷갈려서 코드 정리를 잘 해야 함..정제가 복잡해지면 정리를 잘..해야..하아 목차 익스텐션으로 찾는 것도 분석하는 게 많아지면 목록이 길어져서;
호에엑..인생 ..정리해도 나중에 보면 헷갈릴 듯.; 코드 정리 이쁘게 하는 법을 찾아라
