nlp2 NLP에서 Downstream task 란 무엇일까? Downstream task는 pretrained model 혹은 feature를 supervised-learning task에 적용시키는 것이라고 한다. 어디서 많이 본 learning 방법이 생각나지 않나? 바로 Transfer learning 이다. 그래서 Transfer learning의 정의를 찾아보았다. Transfer learning은 대규모 데이터 셋에서 모델을 학습한 후, pretrained 모델을 사용하여 downstream task에 대한 학습을 하는 프로세스이다. 참조 https://stackoverflow.com/questions/53248838/definition-of-downstream-tasks-in-nlp https://medium.com/dair-ai/a-light-int.. 2020. 2. 3. KoNLPy, mecab 설치하기 (ubuntu 16.04) 파이썬 형태소 분석기 패키지인 KoNLPy를 설치해보겠습니다. KoNLPy는 POS 태거(tagger)인 Twitter와 mecab을 가지고 있습니다. (Twitter는 KoNLPy 버전 0.4.5 부터 이름이 Okt로 바뀌었다고 합니다) 1. JDK 설치 제일 먼저 JDK를 설치해야 합니다. 저는 이클립스 없이는 클래스 하나 못만드는 바보이기 때문에(이것이 제가 파이썬과 차라리 코딩하기에 C++가 낫다고 생각하는 이유죠) Java의 J도 듣기 싫어하지만 설치해야 합니다. 대학생 때도 썼었던 익숙한 JDK 1.8을 설치하고, python3-dev도 설치합니다. 저는 python3를 쓰기 때문에 python3-dev를 설치합니다. python2를 사용하시는 분들은 python-dev를 설치하셔야 합니다. .. 2019. 12. 11. 이전 1 다음
