전체 글62 NLP에서 Downstream task 란 무엇일까? Downstream task는 pretrained model 혹은 feature를 supervised-learning task에 적용시키는 것이라고 한다. 어디서 많이 본 learning 방법이 생각나지 않나? 바로 Transfer learning 이다. 그래서 Transfer learning의 정의를 찾아보았다. Transfer learning은 대규모 데이터 셋에서 모델을 학습한 후, pretrained 모델을 사용하여 downstream task에 대한 학습을 하는 프로세스이다. 참조 https://stackoverflow.com/questions/53248838/definition-of-downstream-tasks-in-nlp https://medium.com/dair-ai/a-light-int.. 2020. 2. 3. KoNLPy, mecab 설치하기 (ubuntu 16.04) 파이썬 형태소 분석기 패키지인 KoNLPy를 설치해보겠습니다. KoNLPy는 POS 태거(tagger)인 Twitter와 mecab을 가지고 있습니다. (Twitter는 KoNLPy 버전 0.4.5 부터 이름이 Okt로 바뀌었다고 합니다) 1. JDK 설치 제일 먼저 JDK를 설치해야 합니다. 저는 이클립스 없이는 클래스 하나 못만드는 바보이기 때문에(이것이 제가 파이썬과 차라리 코딩하기에 C++가 낫다고 생각하는 이유죠) Java의 J도 듣기 싫어하지만 설치해야 합니다. 대학생 때도 썼었던 익숙한 JDK 1.8을 설치하고, python3-dev도 설치합니다. 저는 python3를 쓰기 때문에 python3-dev를 설치합니다. python2를 사용하시는 분들은 python-dev를 설치하셔야 합니다. .. 2019. 12. 11. mAP(mean Average Precision) mAP(mean Average Precision) 💡Object Detection 논문들을 보면 mAP를 사용해서 모델의 성능을 비교하는데, 정확하게 무엇인지 몰라서 찾아보게 되었다. 우선 mAP에 대해 알려면 Precision과 Recall에 대해서 알고 있어야 한다. Precision은 정밀도, Recall은 재현율이라고 하는데 소오오올직히 굳이 한국말로 몰라도 될 것 같다. 나는 단어뜻과 연결지어서 이해가 안되서 그냥 있는 그대로 받아들였다. 위의 표를 보며 Precision, Recall이 무엇이었는지 기억을 더듬어보자. Precision Precision은 모델이 True라고 예측한 것 중 정답도 True인 것의 비율 $ Precision = {TP \over TP+FP} $ Recall Pre.. 2019. 9. 22. apt, apt-get 차이점? apt, apt-get 차이점? 💡 우분투(Ubuntu)에서 패키지(package)를 설치할 때는 apt install이나 apt-get install을 써서 편하게 설치한다. 하지만 apt와 apt-get의 차이를 모르고 그냥 설치해왔다. 그런데 저 둘의 차이가 갑자기 궁금해졌다. 우분투(Ubuntu), Linux mint와 같은 리눅스 배포판의 엄마인 Debian은 Advanced Packaging Tool(APT)를 사용했다. 여기서 APT는 apt install 할 때의 그 apt와 다르다. 글자만 똑같다! 이 APT를 준수해서 각종 패키지들을 install, remove 등의 용도로 만들어진 것이 apt-get, apt-cache 등등이 있었는데, 이게 일반 리눅스 이용자들에게는 너무 low l.. 2019. 9. 19. ckpt, pb, h5 차이점? ckpt, pb, h5 차이점? 💡 라이브러리, 패키지는 모르면서 그냥 써왔던 것이 많다. 딥러닝을 하면서 TensorFlow를 쓸 때는 "그거 그냥 ckpt 받아서 쓰면 되지않아?" 라거나 Keras를 쓸 때는 "hdf5로 모델 인퍼런스 되는데, 문제가 뭔지 모르겠어요." 등등 자연스럽게 써왔는데 오늘에서야 차이점이 무엇인지 파악해보겠다. ckpt 파일 일반적으로 이야기하는 ckpt파일은 .ckpt-data와 같으며, 딥러닝 모델을 제외한 학습한 가중치(weight)만 있는 파일. 모델 구조(graph)는 저장하지 않는다. .ckpt-meta : 모델(graph)만 있는 파일 .ckpt-data : 딥러닝 모델을 제외한 학습한 가중치(weight)만 있는 파일. 모델 구조(graph)는 저장하지 않는다.. 2019. 9. 18. CNN(Convolutional Neural Networks)에 가변적인 input을 줄 수 있을까 💡 예전부터 궁금했는데, 대충 찾고 넘어간거라서 정리해볼겸 다시 검색해보았고 Is it possible to give variable sized images as input to convolutioal neural network라는 질문으로 stack exchange에 올라와 있어서 번역 및 설명을 추가해보았다. 원문은 Q. 을 클릭하면 나온다. Q. CNN에 가변적인 input을 줄 수 있을까(Is it possible to give variable sized images as input to convolutioal neural network) Object Detection을 위한 input 사이즈가 가변적인 CNN을 만들 수 있을까요? 가능하다면 어떻게 해야하나요? 부가질문) 하지만 우리가 이미지를 .. 2019. 9. 13. 이전 1 ··· 7 8 9 10 11 다음
