deep learning4 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (3) - Representation Learning withContrastive Predictive Coding 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 이번 논문은 infoNCE loss를 기반으로 predictive model을 사용하는 모델을 제안했습니다. infoNCE loss는 contrastive learning 논문에 자주 등장합니다. 잘 알고 가면 좋을 것 같습니다. 미리 알아두면 좋은 지식 - Contrastive Learning : Positive pair와 Negative pair로 구성하여 Positive pair 끼리는 거리를 좁히고, Negative.. 2022. 6. 29. model.fit()에서 벗어나기! (1) 모두의 연구소에서 진행하는 "함께 콘텐츠를 제작하는 콘텐츠 크리에이터 모임" COCRE(코크리) 1기 회원으로 제작한 글입니다. 코크리란? 🐘 들어가며 모델링은 중요합니다. 하지만 그 모델을 잘 만든 후에 학습을 시키는 것도 중요합니다. 모델을 만들고 fit()해서 쉽게 학습하는 것은 편하지만 작은 것들 하나하나 컨트롤해보기 어렵고 혹은 문제가 생겼을 때 디버깅해보기 불편합니다. 저는 예전 version의 tensorflow와 input 모양이 바뀌어서 고생을 한 적이 있습니다. 백퍼 fit의 input 모양 때문인지는 확실하진 않아요 ㅎ.. fit()을 사용하는 대신 직접 모델을 학습하는 트레이너를 만들어 모델을 학습해봅시다! 저는 model.fit()에서 벗어나고 싶은 사람, tfds.load(’mn.. 2022. 2. 7. ckpt, pb, h5 차이점? ckpt, pb, h5 차이점? 💡 라이브러리, 패키지는 모르면서 그냥 써왔던 것이 많다. 딥러닝을 하면서 TensorFlow를 쓸 때는 "그거 그냥 ckpt 받아서 쓰면 되지않아?" 라거나 Keras를 쓸 때는 "hdf5로 모델 인퍼런스 되는데, 문제가 뭔지 모르겠어요." 등등 자연스럽게 써왔는데 오늘에서야 차이점이 무엇인지 파악해보겠다. ckpt 파일 일반적으로 이야기하는 ckpt파일은 .ckpt-data와 같으며, 딥러닝 모델을 제외한 학습한 가중치(weight)만 있는 파일. 모델 구조(graph)는 저장하지 않는다. .ckpt-meta : 모델(graph)만 있는 파일 .ckpt-data : 딥러닝 모델을 제외한 학습한 가중치(weight)만 있는 파일. 모델 구조(graph)는 저장하지 않는다.. 2019. 9. 18. CNN(Convolutional Neural Networks)에 가변적인 input을 줄 수 있을까 💡 예전부터 궁금했는데, 대충 찾고 넘어간거라서 정리해볼겸 다시 검색해보았고 Is it possible to give variable sized images as input to convolutioal neural network라는 질문으로 stack exchange에 올라와 있어서 번역 및 설명을 추가해보았다. 원문은 Q. 을 클릭하면 나온다. Q. CNN에 가변적인 input을 줄 수 있을까(Is it possible to give variable sized images as input to convolutioal neural network) Object Detection을 위한 input 사이즈가 가변적인 CNN을 만들 수 있을까요? 가능하다면 어떻게 해야하나요? 부가질문) 하지만 우리가 이미지를 .. 2019. 9. 13. 이전 1 다음
