본문 바로가기

220124화 - 새 프로젝트 시작 뭔가 잘 엮여있는 A, B, C 등 여러 일을 번갈아가면서 하고 있는데 상황이 상황인지라 그걸 다 하고 있는게 신기. 상황을 잘 이용해서 비교적 만족스러운 시간을 보내고 있다.집중도도 확 올라가고 지금처럼 신나게 개인 프로젝하기 좋은 타이밍도 없는 듯. 새 프로젝은 이전부터 생각하던 것인데 이런저런 이유로 바로 시작해야겠다. 간단히 설명하면..수영매니아들 중에는 맘에 드는 수영복을 찾는 경우가 종종 있다. 나같은 경우는 주로 티어제품을 뒤지다 이게 어디 브랜드 제품이고, 어디서 파는지 구글링으로 한참 찾고, 가격 비교도 내가 손수 다 뒤져야 하는 번거로움이 있었다. 또 각 브랜드의 신상도 한 곳에서 몰아보고 기타 등등 그 외에 기타 불편사항들을 해소하기 위해서 구상해둔 것이었음. 이번엔 혼자 쓰기보다는 ..
211111목 - 대시보드의 적절한 활용 데이터 작업하다 느낀 점 적어봄. 파이썬으로 데이터 전처리하면서 분석하다 보니 이건 .. 음 ~ ES가 좋긴 좋구나 생각이 들었다. 나는 데이터를 ES에 보관하고 꺼내쓰는데, ES는 기본적으로 키바나를 사용해서 대시보드 작업을 할 수 있다. ES에 JSON 데이터 구조만 잘 넣으면 키바나에서 끌어다 대시보드 만드는 건 시각화에 일단 코딩이 필요없으니까 어마어마하게 편하다는 걸 실감함. 파이썬으로 시각화 잘 하려면 설정 일일히 코딩해줘야 하고 은근 귀찮은데 그런 게 필요없으니까. 뭐 보여줄거 없나 뒤적이다 이전에 작업해 둔 키바나 대시보드 발굴; 근데, API로 긁어오는 거면 데이터가 이미 이쁘게 되어 있으니까 저렇게 바로 시각화가 편하지, 크롤링해온거면 데이터구조에 맞게 데이터가 들어와도 내용물이 부실하..
210916목 - encrypted NoSql 사용하기 #2 (MongoDB) 몽고DB에서 encryption하는 방법은 클라이언트 측에서 데이터를 암호화해버리는 것이다. 이를 CSFLE(client-side field level encryption) 이라고 부른다. 사용자측에서 이미 암호화하길 원하는 필드를 선택해서 암호화를 함으로써 데이터는 비암호화인체로 서버로 전송될 일이 없고 DB서버에서 비암호화 된 채로 원데이터를 직접적으로 볼 수 없게 된다. 따라서 민감한 정보를 서버에서 얻는 것도 블가능하고, DBA나 DB의 root 증명(credentials)로 디스크에서 데이터를 바로 읽어도 내용을 알 수 없게 된다. 몽고DB는 mongoDB atlas나 엔터프라이즈에서만 implicit(비명시적으로)데이터를 암호화할 수 있으므로 나는 atlas에서 무료 db를 하나 만들었다. 이..
210916목 - encrypted NoSql 사용하기 #1 (MongoDB) config의 encryption이 필요해서 찾다 MongoDB를 사용하게 되었다. 바보처럼 sqlite써볼까하면서 sqlcipher3도 고생하면서 다 설치했는데...응.. config 형식이 json이야..그것도 형식 통일 안 되어있음. -_-; 정신차려..데이터를 먼저 보고 DB를 선택하라구.. 갑자기 sqlite에 꽂혀가지고; NoSql로 다시 알아본게 MongoDB인데 일단 encryption을 어떤식으로 하는지 좀 살펴봐야겠다. 오늘은 필드 암호화 글 살펴보면서 cloud 서버에..MongoDB를 세팅해봤다. 별로 어렵지 않음. 암호화 설명한 글에 cloud 서버를 사용하기도 했지만 이 편이 사용도 쉽다. 도커 이미지는 커뮤니티 버전은 공식에서 제공하는 건 없더라. (아마 허브를 찾아보면 있겠지..
210910금 - google indexing api 사용하기 구글은...서비스가 너무 많아.. 1. 기본설정 - 구글 클라우드 플랫폼에서 서비스계정 생성 - 구글콘솔에서 서비스계정 권한위임 2. 인덱싱 요청 (Python) 코드 1. 기본설정구글 클라우드 플랫폼에서 서비스계정 생성 구글 클라우드 플랫폼에 들어가 create service account 클릭 계정명 입력. 2,3단계는 optional이기 때문에 건너뛰어도 됨. 생성된 계정(이메일)을 복사해둔다. 테이블에 생성된 계정의 keys에 들어가 ADD KEY 를 눌러 키를 생성 ( json 추천) 계정 키 json 파일 다운로드 됨. 구글콘솔에서 서비스계정 권한위임 구글서치콘솔로 돌아간다. 원하는 블로그의 setting에 들어가 add User 누르고 아까 복사한 서비스계정(이메일) 등록. 권한은 Full로..
210909목 - sqlcipher, pysqlcipher3 윈도우 설치 SQLite DB 암호화좀 해보겠다고 찾다가 인내심 테스트... 특히 윈도우는..그래도 장단점이 있으니까...근데 개발환경에선 .. [* 윈도우10 63bit / python 3.9 기준] - python 3.9일 때는 pysqlcipher3 1.0.4 설치 1. openssl 설치 (64x): lite 버전 깔지 말 것 - https://slproweb.com/products/Win32OpenSSL.html 2. openssl 환경변수 설정 OPENSSL_CONF=C:\Program Files\OpenSSL-Win64\bin\openssl.cfg 3. Active state설치 : 깃으로 가입하면 편함 - https://www.activestate.com/products 4. C:\Program Fil..
210815일 - 노션... 너 생각보다 더 유용하구나. 노션 API를 끌어다가 서비스를 만들다보니 노션이 서드파티 서비스도 많고 좋네.. 이 apption 사이트는 노션에 임베드 html을 제공하는 곳임. 구글 diagram.net 다이아그램을 embed로 추가 못 하나 알아보던 와중에 알았음. 다이아그램 자체를 embed하진 않았지만 그 html을 만들어서 노션에 집어넣었다. 굿굿. https://apption.co/ Apption - Notion friendly Embeddable Widget Apps Find & Learn Notion friendly Embeddable Widget Apps apption.co apption은 여기에서 알게되었다. 노션팁에 대해 잘 정리해 놓은 듯 해서 참조 겸 링크. https://cleverway.tistory.co..
210803화 - 글 자동배포봇 5 : 네이버 블로그 안 되는건 없군.. 어떻게 하다보니 셀레니움으로 네이버블로그에 매크로 작업을 성공적으로 해냈다. 1차 테스트도 마쳤음. 잘 안 될 땐 잠깐 손을 놓는게 맞다. 집착하면 늘어지고 피곤함. (그치만 회사에선 놓는걸 허락하는가..?) 저번 글 올리고 주말에는 손도 안 대고 있다 다시 붙잡았다. 저번에 자동배포 코딩하면서 스마트에디터 one 작업 안 된다고 그랬는데, 되는 방법을 찾았다. screen2gif로 과정을 살짝 찍어보려했는데 키보드 인터럽트가 나서..-_-;; 이미지도 글도 다 잘 올라간다. 그렇지만 문제가 몇 가지 있음. 첫번째는 키보드나 마우스조작이 들어가서 그런지 매크로가 돌 때 인터럽트현상이 잘 난다. 두번째는 페이지 로딩을 기다리지 않으면 매크로가 제대로 안 돌아갈 떄가 있어서 딜레이를 주는..