MLOps 4

TIL) 22.04.17 ~ 22.04.23

04.17 MLOps 쿠버네티스는 왜 쓰는가?? 인스턴스 컨테이너를 1000개 이상 띄울 경우에는 유용, 하지만 너무 복잡 작게 띄울 때는 도커 스웜만으로도 충분, 도커만 설치하면 자동으로 깔려서 구현도 편하고 다룰 컨테이너가 적을 경우에는 용이 요즘은 k3s 같은 경량화 툴이 많이 나와서 비교적 편리해진 편 + 산업계의 표준이 돼버려서 배울 필요는 있을듯..? mlops 0단계 구현할 때는 필요 없다고 한다 MLflow 튜토리얼: https://github.com/vhrehfdl/MLflow_tutorial 04.19 확률과 통계 이산형 확률분포 단순임의추출법(simple random sampling) 크기가 $N$개인 유한모집단에서 크기$n$의 표본을 추출하는 방법의 수는 $_NC_n$ $_NC_n$..

TIL) 22.04.03 ~ 22.04.09

04.03 MLOps 모두의 MLOps 따라하기 환경설정까지는 완료 Docker: 리눅스 컨테이너를 더욱더 쉽고 유연하게 사용할 수 있는 기능을 제공해주는 도구 kubelet: 클러스터의 각 노드에서 실행되는 에이전트. Kubelet은 파드에서 컨테이너가 확실하게 동작하도록 관리 Kubelet은 다양한 메커니즘을 통해 제공된 파드 스펙(PodSpec)의 집합을 받아서 컨테이너가 해당 파드 스펙에 따라 건강하게 동작하는 것을 확실히 한다. Kubelet은 쿠버네티스를 통해 생성되지 않는 컨테이너는 관리하지 않는다. kubectl: 쿠버네티스 클러스터에 API를 요청할 때 사용하는 클라이언트 툴 k3s: 가벼운 Kubernetes로 쉽게 설치하고 적은 메모리/binary 파일을 사용하여 Edge/IoT 환경..

MLOps 시작하기: MLOps란?

가짜연구소에서 MLOps 스터디 'ml-with-the-flow'를 진행하며 공부하고 익힌 것을 정리해볼 예정 오늘은 첫날이니까 https://mlops-for-all.github.io/를 보며 쿠버네티스 세팅하는 것까지가 목표! MLOps란? 내가 이해하기로 mlops란 데이터 수집 및 전처리, 모델을 학습하고 학습한 결과를 반영해 다시 학습하는 등 DL 학습 관련 전반적인 일을 자동화시켜주는 것? 정도로 생각하고 있었음 이하는 모두의 mlops를 읽으며 정리한 내용 DevOps MLOps는 DevOps라는 개발방법론에서 파생 DevOps: 소프트웨어의 개발(Development)과 운영(Operations)의 합성어 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하..

TIL) 22.03.27 ~ 22.04.02

03.27 Pose Estimation EfficientPose 참고글: https://eehoeskrap.tistory.com/500?category=705415 언제나 pose model의 목표는 성능은 올리고 연산량은 줄이는 것 Single-person pose estimation 개선점 3가지 AutoML로 backbone을 찾음, EfficientNet 이용 cross-resolution feature를 이용, multi-scale 방식에서 NN 크기 및 computation 줄임 SE(squeeze-and-excitation)와 MBConv(mobile inverted bottleneck convolution) 이용 bilinear kernel을 이용한 transposed conv로 low=l..