딥러닝9 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (4) - SimCLR v1, v2 simCLR v1 논문, simCLR v2 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 이번 논문은 제가 Self Supervised Learning을 처음 접했던 논문이었고, 이 분야에서도 연구가 더욱 활발하게 된 계기가 되었던 논문인 것 같습니다. 미리 알아두면 좋은 지식 - Contrastive Learning : Positive pair와 Negative pair로 구성하여 Positive pair 끼리는 거리를 좁히고, Negative pair끼리는 거리를 .. 2022. 7. 31. model.fit()에서 벗어나기! (1) 모두의 연구소에서 진행하는 "함께 콘텐츠를 제작하는 콘텐츠 크리에이터 모임" COCRE(코크리) 1기 회원으로 제작한 글입니다. 코크리란? 🐘 들어가며 모델링은 중요합니다. 하지만 그 모델을 잘 만든 후에 학습을 시키는 것도 중요합니다. 모델을 만들고 fit()해서 쉽게 학습하는 것은 편하지만 작은 것들 하나하나 컨트롤해보기 어렵고 혹은 문제가 생겼을 때 디버깅해보기 불편합니다. 저는 예전 version의 tensorflow와 input 모양이 바뀌어서 고생을 한 적이 있습니다. 백퍼 fit의 input 모양 때문인지는 확실하진 않아요 ㅎ.. fit()을 사용하는 대신 직접 모델을 학습하는 트레이너를 만들어 모델을 학습해봅시다! 저는 model.fit()에서 벗어나고 싶은 사람, tfds.load(’mn.. 2022. 2. 7. <혼자 또는 같이하는 머신러닝 스터디 잼> 티셔츠 대장정의 끝 을 하면서 이미지 처리에서는 잘 쓸이 없었던 몇 가지(결측치 처리 같은)들을 배우게 되었습니다. 비록 영어지만ㅋㅋㅋ 자세한 설명들과 코드로 이해하기에 좋은 스터디였던 것 같아요. 공부하면서 정리할만한 것들이나 제가 조금 더 자세하게 쓸 수 있는 것들을 이 블로그에 정리하고 같이 스터디 하는 분들에게 공유하였는데 감사하게도 칭찬의 의미이신지 책을 선물해주셨습니다 그것도 내가 고민했던책! 요즘 책값이 참 비싸다.. 받은 후에 침대에서 뒹굴면서 재미있게 잘 읽었습니다. 그리고 오늘 대망의.. 내가 기다렸던 티셔츠가 왔다 오예오예 여러 디자인 시안이 있었는데 제가 선택했던 것이 된 것 같네요. 아 선택한걸로 오는건가? 아주 예쁜 검정색 티셔츠가 왔습니다. 가슴팍에 Google Developers라고 쓰여있네요... 2021. 5. 20. [논문리뷰] 모델을 가볍게 MobileNetV1, Depthwise Separable Convolution 설명 MobileNetV1에 대한 간단한 논문 리뷰입니다. 논문링크 : https://arxiv.org/abs/1704.04861 Abstract 해당 논문에서는 Mobile 기기와 임베디드 비전 어플리케이션을 위한 효율적인(efficient) 모델인 MobileNets를 소개합니다. MobileNet은 depth-wise convolutions를 이용하여 모델의 아키텍쳐를 구성하였으며 간단한 2개의 하이퍼파라미터를 이용하여 지연시간(latency)과 정확도(accuracy)를 절충합니다. 1. Introduction 더 높은 accuracy를 달성하기 위해 Convolutional neural networks는 더 깊고, 복잡해지는게 트렌드였습니다. 하지만 로보틱스, 자율주행 자동차, AR, 사물인식과도 같.. 2021. 4. 26. <혼자 또는 같이하는 머신러닝 스터디 잼> Intro to Deep Learning 코스 요약 (2) 4. Overfitting and Underfitting Interpreting the Learning Curves 학습 데이터가 주는 정보는 signal과 noise 두 가지 유형으로 생각할 수 있다. signal은 일반화할 수 있는 부분이며, 모델 새로운 데이터로 예측을 하는 데 도움을 주게한다. Noise는 학습 데이터에만 해당되는 부분이다. Noise는 데이터에서 발생하는 모든 임의의 변동이거나 모델이 실제로 예측하는 데 도움이되지 않는 모든 부수적이고 정보가 없는 패턴이다. 유용해 보일 수 있지만 실제로는 그렇지 않은 것이다. Signal, Noise에 대한 설명은 여기를 참고하세요. 각 epoch(에폭)마다 learning curve를 그리면 어떻게 학습되었는지 알 수 있다. 이 그래프를 분석.. 2021. 4. 16. [논문 리뷰] Temporal Relational Reasoning in Videos 보호되어 있는 글 입니다. 2021. 4. 1. 이전 1 2 다음
