01 멘토 소개
MS Course
진인환
CVSP(Computer Vision&Signal Processing Lab.)
•
관심분야 |
◦
3D/4D Reconstruction
◦
Diffusion models
bds06081@naver.com
MS Course
문형주
CVSP(Computer Vision&Signal Processing Lab.)
•
관심분야 |
◦
3D/4D Reconstruction
◦
Generative AI
vndgh777@naver.com
02 프로젝트 소개
2.1. 우리가 함께 할 연구, 3D Reconstruction
3D Scene Reconstruction은 다양한 각도에서 촬영된 이미지를 기반으로 3차원 장면을 복원하는 분야로, computer graphics 와 computer vision의 중요한 기술로 자리 잡고 있습니다. 자율 주행 자동차나 로봇이 작업할 환경의 map을 3D Reconstruction을 통해 생성하고 위치를 파악하는 기술을 통해 새로운 환경에서의 탐색과 map 생성을 가능하게 하고, CAD 모델이 없는 복잡한 부품의 재생산이나 설계 등 제조 및 로봇 산업 등에 다양하게 활용되고 있습니다.
최근 등장한 Gaussian Splatting 기술은 포인트 기반의 표현 방식을 통해 다양한 물체나 공간에 대한 고품질의 3D 복원을 달성하였습니다. 그러나 이 기술은 학습을 위해 대량의 다각도 이미지셋을 필요로 하며, 촬영되지 않은 영역의 복원이 어려워 최종적으로 복원된 3차원 데이터의 품질이 저하될 수 있습니다. 이는 실제 환경에서 데이터를 수집하여 해당 기술을 활용하는 데 상당한 어려움을 초래합니다. 최근에는 Diffusion 기반의 Generative AI 기술이 발전함에 따라, 이미지나 비디오를 생성하고 기존 이미지에 존재하지 않는 영역을 채우는 연구가 활발히 진행되고 있습니다. 우리는 이 기술을 활용하여 수집하지 못한 각도의 이미지를 생성하고, 이를 추가적인 학습 데이터로 사용함으로써 Gaussian Splatting의 한계를 극복하고자 합니다.
KERBL, Bernhard, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Trans. Graph., 2023, 42.4: 139:1-139:14.
2.2. 연구 방향성
실제 환경에서 원하는 공간을 완벽하게 촬영하는 것은 현실적으로 어려운 일입니다. 또한 학습 데이터를 무작정 늘리는 것은 불필요한 데이터가 학습 연산량을 증가시키는 결과를 낳을 뿐입니다. 이러한 문제를 해결하기 위해, 우리는 복원된 3차원 데이터 중 성능이 떨어지는 영역을 정밀하게 파악하고, 해당 영역을 보강할 수 있는 데이터를 추가하려고 합니다. 이 과정에서 Generative AI를 활용하여 추가적인 데이터를 손쉽게 생성할 수 있는 프레임워크를 제안합니다. 우리는 이 접근법을 통해 실제 환경에서의 3D Reconstruction 모델의 한계를 극복하고, 그 확장성을 높이고자 합니다. 이 프로젝트에 함께할 동료들의 참여를 기다리고 있습니다!
2안
03 일정 소개
3.1. AI 기초
MILDENHALL, Ben, et al. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 2021, 65.1: 99-106.
AI와 딥러닝(Deep Learning)에 대해 이미 잘 알고 있는 학우도 있겠지만, 처음 접하는 학우도 있을 것입니다. 이번 겨울방학에는 AI 기초부터 시작하여 모든 학우가 함께 학습할 수 있는 시간을 마련할 예정입니다.
기초 이론을 탄탄히 다지는 것부터 시작하여 COLMAP, SfM(Structure from Motion), Voxel과 같은 내용과 다양한 컴퓨터 비전(Computer Vision), 그리고 3D Vision 관련 내용을 배우게 됩니다. 이 모든 과정을 코딩 실습과 연계하여 학습하며, 점진적으로 실제 프로젝트를 해결할 수 있는 능력을 배양하는 것을 목표로 합니다. 
3.2. Gaussian Splatting
Gaussian Splatting 기술은 3D Gaussian을 활용하여 3차원을 표현하는 새로운 방법입니다. 이 기술은 실시간 렌더링을 통해 대규모 데이터셋을 고화질로 복원하는 데 성공하였습니다. 이는 다양한 비전 작업과 분야에 적용되어 새로운 3D 표현 방식으로 자리매김하고 있습니다. 우리는 3D 복원 분야에서 Gaussian Splatting의 기본 원리를 학습하고, 정의된 문제에 대한 해결책을 함께 모색할 것을 기대하고 있습니다.
3.3. 다양한 어플리케이션에 적용
공정에 필요한 부품이나 제조 과정에서 CAD 모델이 존재하지 않을 경우, 3D Reconstruction을 활용하여 재설계하거나, 자율 주행 및 로봇의 위치를 추정하여 지도를 탐지하는 SLAM(Simultaneous Localization and Mapping) 등 다양한 분야에 활용할 수 있습니다. 이 외에도 활용해보고 싶은 애플리케이션이 있다면, 시도해 볼 가치가 있을 것입니다
Objective
•
모델 성능 테스트 결과를 정리하여 대한전자공학회 추계학술대회 등 국내학회 논문 제출
이런 Fellow를 찾아요!
•
Computer Vision 분야에 관심 있는 분
•
1학기, 2학기 모두 참여가 가능하신 분(2025년 1월부터 참여 가능하면 더욱 좋아요)
)•
문제 해결 능력이 뛰어난 사람
•
끈기와 열정이 있는 사람
•
프로젝트를 발전시켜 국내 학회에 논문을 제출해보고 싶으신 분