본문 바로가기

DL|ML49

Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (2) - DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 벌써 2개의 논문을 끝냈습니다. 공부하고 있는 논문들이 SSL을 공부하는 좋은 로드맵이 될 것 같아 살짝 정리를 해보는 것이 좋을 것이라 생각했습니다. 논문 설명과 논문에서 공헌한 부분의 코드를 설명하는 시리즈가 될 것 같습니다. 미리 알아두면 좋은 지식 - Distilling the Knowledge in a Neural Network : 지난 번 SSL 히치하이거 시리즈에서 소개한 논문입니다. Knowledge Dist.. 2022. 6. 15.
Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 (1) - Distilling the Knowledge in a Neural network 논문, 코드 Self Supervised Learning를 여행하는 히치하이커를 위한 안내서 저는 요즘 모두의 연구소에서 Self Supervised Learning(SSL)을 공부하고 SSL에 대해 논문을 쓰는 것을 목표로 하는 SSL LAB(쓸랩)의 연구원으로도 활동하고 있습니다. 제가 정말 논문을.. 쓸 수 있을까요? 🥲 공부하게될 논문들이 SSL을 공부하는 좋은 로드맵이 될 것 같아 살짝 정리를 해보는 것이 좋을 것이라 생각했습니다. 논문 설명과 논문에서 공헌한 부분의 코드를 설명하는 시리즈가 될 것 같습니다. 미리 알아두면 좋은 지식 - MNIST : 손으로 쓴 숫자들로 이루어진 28 x 28 픽셀 사이즈로 구성된 이미지 데이터. - Ensemble : 같은 데이터로 여러개의 분류기 모델을 학습.. 2022. 6. 10.
Foursquare - Location Matching 컴피티션 캐글 노트북 번역 캐글에서 Location Matching이라는 재미있어보이는 컴피티션을 하나 발견해서 어떤 컴피티션인지 소개하면서 EDA 노트북 하나를 번역해볼까 한다. Foursquare - Location Matching 근처 식당을 찾거나 미지의 지역에서 심부름을 해야할 때, 그와 관련 있고 정확한 정보를 기대하게 됩니다. 전세계적으로 양질의 데이터를 유지하는 것은 어려운 과제이며, 탐색을 넘어서는 의미를 지닙니다. 기업은 시장 확대를 위해 새로운 지역을 결정하고, 경쟁 지형을 분석하고, 위치 데이터로 안내하는 관련 광고를 보여줍니다. 이러한 용도와 다른 많은 용도의 경우 신뢰할 수 있는 데이터가 중요합니다. 상업적 관심 지점(POI)에 대한 대규모 데이터 셋은 실제 정보로 가득 차 있을 수 있습니다. 최고 수준의.. 2022. 5. 7.
model.fit()에서 벗어나기! (2) 모두의 연구소에서 진행하는 "함께 콘텐츠를 제작하는 콘텐츠 크리에이터 모임" COCRE(코크리) 1기 회원으로 제작한 글입니다. 코크리란? 🐘 model.fit()에서 벗어나기! (1) 요약 지난편에서 우리의 몇 가지에 대해 이야기했습니다 tf.data를 이용한 데이터 로드하기 tf.keras.Model을 상속받아 나만의 모델 만들기 Train loop로 모델 학습하기 하지만 우리가 만들었단 간단한 train loop 로는 지금 어느정도 학습되고 있는지, loss가 어느 정도 인지를 알 수 없고 모델을 저장해보지도 않았습니다. 오늘은 그것들을 해보려고 합니다! 그리고 추가로 argparse를 이용하여 epoch, batch 사이즈 등의 값을 읽어오도록 해보겠습니다. 불태워봅시다. 이 기능들을 추가하면서.. 2022. 4. 20.
model.fit()에서 벗어나기! (1) 모두의 연구소에서 진행하는 "함께 콘텐츠를 제작하는 콘텐츠 크리에이터 모임" COCRE(코크리) 1기 회원으로 제작한 글입니다. 코크리란? 🐘 들어가며 모델링은 중요합니다. 하지만 그 모델을 잘 만든 후에 학습을 시키는 것도 중요합니다. 모델을 만들고 fit()해서 쉽게 학습하는 것은 편하지만 작은 것들 하나하나 컨트롤해보기 어렵고 혹은 문제가 생겼을 때 디버깅해보기 불편합니다. 저는 예전 version의 tensorflow와 input 모양이 바뀌어서 고생을 한 적이 있습니다. 백퍼 fit의 input 모양 때문인지는 확실하진 않아요 ㅎ.. fit()을 사용하는 대신 직접 모델을 학습하는 트레이너를 만들어 모델을 학습해봅시다! 저는 model.fit()에서 벗어나고 싶은 사람, tfds.load(’mn.. 2022. 2. 7.
Mapping Africa’s Buildings with Satellite Imagery 원문 출처 https://ai.googleblog.com/2021/07/mapping-africas-buildings-with.html Mapping Africa’s Buildings with Satellite Imagery Wednesday, July 28, 2021 Posted by John Quinn, Software Engineer, Google Research, Ghana 건물의 면적(Building footprints)에 대한 정확한 기록은 인구 추정 및 도시 계획에서 인도적 대응 및 환경 과학에 이르기까지 다양한 응용 분야에서 중요합니다. 홍수나 지진과 같은 재해가 발생한 후 당국은 얼마나 많은 가구가 영향을 받았는지 추정해야 합니다. 이상적으로는 이에 대한 최신 인구 조사 정보가 있지만 실.. 2021. 12. 10.

티스토리툴바