본문 바로가기

전체 글62

SpaceNet Challenge 1 SpaceNet 이란? > SpaceNet® is dedicated to accelerating applied research in geospatial machine learning. 나만의 정리 SpaceNet Challenge 1 주제 및 정보 : Rio de Janeiro building footprint extraction이다. 각각의 빌딩은 polygon으로 라벨링 되어 있다. 각 모델은 building 이 있다고 생각하는 자리에 polygon을 예측해야한다. Metric : 각각의 proposed bilding footprint(polygon)는 "True Positive(예측과 GT 모두 참)" 혹은 "False Positive(예측은 참이나 GT가 거짓)". "True Positive"의 .. 2022. 7. 21.
Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (3) - Representation Learning withContrastive Predictive Coding 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 이번 논문은 infoNCE loss를 기반으로 predictive model을 사용하는 모델을 제안했습니다. infoNCE loss는 contrastive learning 논문에 자주 등장합니다. 잘 알고 가면 좋을 것 같습니다. 미리 알아두면 좋은 지식 - Contrastive Learning : Positive pair와 Negative pair로 구성하여 Positive pair 끼리는 거리를 좁히고, Negative.. 2022. 6. 29.
Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (2) - DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 벌써 2개의 논문을 끝냈습니다. 공부하고 있는 논문들이 SSL을 공부하는 좋은 로드맵이 될 것 같아 살짝 정리를 해보는 것이 좋을 것이라 생각했습니다. 논문 설명과 논문에서 공헌한 부분의 코드를 설명하는 시리즈가 될 것 같습니다. 미리 알아두면 좋은 지식 - Distilling the Knowledge in a Neural Network : 지난 번 SSL 히치하이거 시리즈에서 소개한 논문입니다. Knowledge Dist.. 2022. 6. 15.
Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (1) - Distilling the Knowledge in a Neural network 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 제가 정말 논문을.. 쓸 수 있을까요? 🥲 공부하게될 논문들이 SSL을 공부하는 좋은 로드맵이 될 것 같아 살짝 정리를 해보는 것이 좋을 것이라 생각했습니다. 논문 설명과 논문에서 공헌한 부분의 코드를 설명하는 시리즈가 될 것 같습니다. 미리 알아두면 좋은 지식 - MNIST : 손으로 쓴 숫자들로 이루어진 28 x 28 픽셀 사이즈로 구성된 이미지 데이터. - Ensemble : 같은 데이터로 여러개의 분류기 모델을 학습.. 2022. 6. 10.
[도서 리뷰] 구글 엔지니어는 이렇게 일한다 이 서평은 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 동작하기만한 코드를 만드는 것 보다는 확장이 가능한 코드를 만드는 것이 좋다는건 너무나도 잘 알고 있다. 근데 직업이 ML Engineer고 혼자 딥러닝 모델을 학습하고, 테스트하는 코드를 대충 짜서 결과를 보고 다시 학습하고 하는 과정을 반복하다보니 API 명세서를 보고 코딩하거나 디테일한 코드리뷰는 아주 가깝진 않다. 코딩 테스트를 한 개도 아니고 2, 3번째 인터뷰에서까지 코딩 테스트를 보는 구글에서 엔지니어들이 어떻게 코드를 만드는지에 대해 쓴 이 책은 충분히 기대하게 만들었다. 다만 저자도 이야기하듯이 어떻게 프로그래밍 하라거나 API 설계법, 언어별 주의점 같은 내용은 다루지 않는다. 이 책은 구글은 어떻게 협업해서 코드를 .. 2022. 5. 18.
Foursquare - Location Matching 컴피티션 캐글 노트북 번역 캐글에서 Location Matching이라는 재미있어보이는 컴피티션을 하나 발견해서 어떤 컴피티션인지 소개하면서 EDA 노트북 하나를 번역해볼까 한다. Foursquare - Location Matching 근처 식당을 찾거나 미지의 지역에서 심부름을 해야할 때, 그와 관련 있고 정확한 정보를 기대하게 됩니다. 전세계적으로 양질의 데이터를 유지하는 것은 어려운 과제이며, 탐색을 넘어서는 의미를 지닙니다. 기업은 시장 확대를 위해 새로운 지역을 결정하고, 경쟁 지형을 분석하고, 위치 데이터로 안내하는 관련 광고를 보여줍니다. 이러한 용도와 다른 많은 용도의 경우 신뢰할 수 있는 데이터가 중요합니다. 상업적 관심 지점(POI)에 대한 대규모 데이터 셋은 실제 정보로 가득 차 있을 수 있습니다. 최고 수준의.. 2022. 5. 7.

티스토리툴바