본문 바로가기
gensim 에러 1 - could not convert string to float gensim을 쓰다가 에러가 나서 기록해본다. 흔히 나는 에러는 아닐 것 같다. (아닌가? 예상 외로 사람들이 꽤 찾아본다.) 한글 전처리에서 스페이스 ' ' 로 이어진 두 단어를 한 단어로 처리해서 word2vec 넣고 모델을 저장했다. (ex. 먹고 싶다, 안 되다, 자지 않다 )그런데 저장한 모델을 로드하는데 계속 에러가 남. # model.wv.save_word2vec_format('./word2vec/kor_w2v_minioven') KeyedVectors.load_word2vec_format('./word2vec/kor_w2v_minioven') # ValueError: could not convert string to float: '되다' 에러 전체 로그: -------------------..
태블로(Tableau)는 진정한 시각화 툴이로구나. (타블로보다는 태블로라고 하는 게 맞는 듯.) 기업에서 시각화툴로 태블로(Tableau)를 많이 쓰는 듯해 튜토리얼을 신청해서 써보고 있다. 와 써보고 진짜 놀랐네. 그냥 기본 튜토리얼만 했는데도 이렇게 깔끔하고 다양한 데이터를 다양한 방식으로 편집할 수 있다니. ES도 시각화로 좋다고 생각했는데, 이건 진짜 급이 다른 듯한..? 이래서 태블로 태블로 하는 구나. 홈페이지에 있는 튜토리얼을 보면서 그대로 만들어보면서 대충 어떻게 쓰는지 느낌이 왔다. 기본 제공되는 다른 대시보드에서 다른 차트들 어떻게 만들었는지 살펴보고 개인데이터에 적용해봐야겠다... 잘 쓰면 정말 시각화는 거의 천하무적아니려나...?? 나중에 알았는데 태블로 퍼블릭을 이용하면 타블로 툴을 무료로 사용해볼 수 있다. 데스크탑 프로그램을 ..
docker로 mariaDB & adminer 설치 어플을 설치할 때 주로 도커를 사용하는데 마리아 DB & Adminer를 설치하면서 기록차원에서 남겨놓음. 1. DOCKER-COMPOSE 파일 설정 (setting.yml) 테스트용이기 때문에 설정을 최소화했다. version: '3.1' services: mariadb: image: mariadb restart: always volumes: - /your/data/conf/path:/etc/mysql/conf.d - /your/data/path:/var/lib/mysql ports: - 3306:3306 # (호스트port):(컨테이너port) environment: - MYSQL_ROOT_PASSWORD=my_password # :가 아닌 = 를 사용해야 함 adminer: image: admine..
211116화 - 도커 에러 could not select device driver "" with capabilities: [[gpu]] 문제nivida driver를 다시 설치하고 도커 컨테이너를 실행하려는 데 다음과 같은 에러가 난다. log를 봐도 큰 문제가 없다. Error response from daemon: could not select device driver "" with capabilities: [[gpu]] 해결구글링을 해보니 nvidia-container-toolkit를 설치하면 된다고 해서 설치했고 컨데이너가 제대로 동작했다. 아마도 nvidia 재설치 과정에서 nvidia관련을 전부 삭제하고, 재설치시 toolkit 설치가 안 되면서 문제가 생긴 것 아닌가 싶다. sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo service doc..
211111목 - 대시보드의 적절한 활용 데이터 작업하다 느낀 점 적어봄. 파이썬으로 데이터 전처리하면서 분석하다 보니 이건 .. 음 ~ ES가 좋긴 좋구나 생각이 들었다. 나는 데이터를 ES에 보관하고 꺼내쓰는데, ES는 기본적으로 키바나를 사용해서 대시보드 작업을 할 수 있다. ES에 JSON 데이터 구조만 잘 넣으면 키바나에서 끌어다 대시보드 만드는 건 시각화에 일단 코딩이 필요없으니까 어마어마하게 편하다는 걸 실감함. 파이썬으로 시각화 잘 하려면 설정 일일히 코딩해줘야 하고 은근 귀찮은데 그런 게 필요없으니까. 뭐 보여줄거 없나 뒤적이다 이전에 작업해 둔 키바나 대시보드 발굴; 근데, API로 긁어오는 거면 데이터가 이미 이쁘게 되어 있으니까 저렇게 바로 시각화가 편하지, 크롤링해온거면 데이터구조에 맞게 데이터가 들어와도 내용물이 부실하..
211108월 - scp 로 윈도우 리눅스 파일 전송 클라우드 사용이 불가능해서 이미지나 파일 전송이 불편했는데 잘 되었음..리눅스간 파일전송은 알고 있었는데 윈도우랑 리눅스 간도 되는구나; 맞다..그러고 보니 filezilla도 있다.. # 받기 scp {서버계정명}@{보내는 서버 IP}:{전송할 파일path} {받을 서버 저장 경로} ex. scp mine@191.166.44.111:/data/git/test/figures.tar.gz ./ # 보내기 scp {전송할 파일path} {서버계정명}@{서버IP}:{받을 파일을 받을 path} ex. scp ./test.txt mine@191.166.44.111:/data/git/test 참조: https://programmers-so.tistory.com/8
[ES] 211104목 - elasticsearch query value에 콜론(:)있을 시 검색 filter를 통해 url주소를 넘겨줘서 정확한 검색결과를 뽑으려 했는데 검색이 안 된다. 다른 field로 검색하면 되는데 안 된다? 살펴보다 특수기호때문에 그런게 아닌가 생각이 들어서 찾아봤더니 ..그렇네;; url에는 "http:// ..."에 ":"가 들어가 있어서 문제가 되는 듯 했다. filter말고 다른 검색방법이 있나 찾아봤더니 match_phase를 쓰라고 한다. { "query": { "match_phrase": { "link": "https://m.blog.naver.com/aaa/2223353366344" } }, "size": 500, "_source": [] } "match_phrase"는 bool -> must 안에 들어갈 수 있다. { "query" : { "bool": { ..
211011월 - notion 파이썬 패키지 에러 #1 NotionValidationError: Invalid input 공식 패키지가 아니다 보니..휴 이슈 #353 NotionValidationError: Invalid input when calling .get_rows() 코드를 아무것도 안 바꿨는데 갑자기 노션패키지(python)에서 NotionValidationError: Invalid input 에러를 뿜어댄다. 처음엔 이슈 #294인지를 적용하는건가 해서 업데이트했지만 여전히 에러 뿜뿜. invalid input 이라니 나의 노션 페이지>검사로 들어가 queryCollection API 호출할 때 request payload 폼을 뒤져보니 현재 파이썬 패키지 코드에 명시되어 있는 것과 많이 다르다. 이슈 뒤져보니 나와 같은 사람이 있고, quick fix 되었다. 이슈 #353 에 들어가면 3개의 파일의 코드가..

티스토리툴바