미식한 고독가

논문 리뷰나 짧게 둘러본 정도라도 일단 계속 추가할 예정 Single-Person Direct Regression BlazePose OnDevice, Realtime이 가능한 light한 모델 Heatmap과 regression을 모두 이용 Face detector를 사용해 사람을 찾아 기준으로 삼아 tracker를 실행 Backbone에서는 heatmap, offset, regression을 결합한 방식을 이용, encoder-decoder heatmap-based network 뒤에 regression network가 따라오는 구조를 stack Heatmap과 offset loss는 train에만 이용해 경량화 지원하는 angle, scale, translation의 범위를 일부로 제한해 모델을 경량..

오늘은 BlazePose의 대조군이기도 하고 오픈소스로 유명한 OpenPose를 리뷰해볼 예정이다. BlazePose와는 정반대로 multi-person에서 real-time inference가 가능하게 만들었다는 점이 주목할만한 점. 아마 2017년에 CVPR에서 발표한 후 몇 가지 성능 개선과 OpenPose를 공개하며 2019년에 다시 논문을 낸 것으로 알고 있다. 수식 및 레퍼런스가 자세해서 읽기에는 좋았지만 양이 너무 많아 읽는데만 일주일은 걸린 것 같다.. 0. Abstract Part Affinity Fields(PAFs)라는 비모수적 표현(nonparametric representation)을 이용해 각 신체 부위를 연결시키는 bottom-up 방식을 제안 사람 수에 상관 없이 real-t..

Mediapipe를 사용하면서 CPU에서도 실시간 inference가 가능할 정도로 가벼운 pose estimation 모델이 있다는 것이 신기했다. Pose estimation은 아직 다른 도메인처럼 모델 발전 역사가 체계적으로 정리돼있지 않아 일단은 SOTA, 오픈 라이브러리가 있는 모델을 우선으로 리뷰해볼 예정. 0. Abstract BlazePose는 모바일에서도 human pose estimation에 대한 real-time inference가 가능하다. Google Pixel 2 기준으로 30fps로 33개의 keypoint를 출력한다. BlazePose의 novel solution은 heatmap과 regression을 모두 이용해 lightweight pose estimation을 한다는 ..