서울대학교 공과대학은 전기정보공학부 이현수 학부생이 이미지 편집부터 3차원(3D) 콘텐츠 생성에 이르는 생성형 비주얼 컴퓨팅(Generative Visual Computing) 연구 성과를 NeurIPS, CVPR, ECCV 등 인공지능(AI) 및 컴퓨터 비전 분야의 주요 국제학술대회에 발표했다고 밝혔다. 이들 학술대회는 엄격한 심사와 낮은 논문 채택률로 잘 알려져 있어 학부생이 연구 성과를 잇달아 발표한 것은 더욱 주목할 만하다.

생성형 비주얼 컴퓨팅은 AI가 현실 세계의 시각 정보를 이해하는 데 그치지 않고, 사용자가 제시한 텍스트·이미지·부분적인 관측 결과를 바탕으로 새로운 시각 콘텐츠를 생성하도록 하는 연구 분야다. 최근 디퓨전 모델을 비롯한 생성형 AI 기술이 빠르게 발전하고 있지만, 생성 결과를 사용자의 의도에 맞게 정교하게 제어하고 여러 결과 사이의 구조적 일관성을 유지하는 문제는 여전히 중요한 문제로 남아 있다.

이현수 학생은 이미 학습된 생성 모델의 사전 지식을 활용해 별도의 대규모 재학습 없이 사용자의 의도와 관측 정보에 부합하는 결과를 생성하고 여러 생성 결과 사이의 일관성을 유지하는 방법을 연구해 왔다. 연구 범위는 텍스트 기반 이미지 편집과 고해상도 이미지 편집, 디퓨전 동기화, 3D 콘텐츠 생성에 이른다.

연구의 출발점은 텍스트 조건을 이용한 이미지 편집이었다. 이현수 학생이 공동 제1저자로 참여한 논문 ‘Conditional Score Guidance for Text-Driven Image-to-Image Translation’은 원본 이미지의 구조를 유지하면서 사용자가 텍스트로 지정한 영역을 자연스럽게 변경하는 조건부 점수 유도 방법을 제안했다. 이 논문은 AI 분야 최고 권위 학술대회인 NeurIPS 2023에 채택됐다.

해당 연구는 고해상도 이미지 편집으로도 확장됐다. CVPR 2026에 채택된 ‘Low-Resolution Editing is All You Need for High-Resolution Editing’은 저해상도에서 얻은 편집 결과를 의미적 기준으로 활용하고, 동기화된 패치 최적화를 통해 원본의 세밀한 정보를 고해상도 결과로 전달하는 기술을 제안했다. 이를 통해 기존 생성 모델이 처리하기 어려웠던 1K 이상의 고해상도 이미지에서도 전체적인 의미와 세부 묘사를 함께 유지하며 편집할 수 있는 가능성을 제시했다.

이현수 학생은 하나의 결과를 생성하는 문제를 넘어 여러 생성 결과가 서로 일관된 구조를 갖도록 만드는 ‘디퓨전 동기화’의 원리도 연구했다. CVPR 2025에 발표된 ‘SyncSDE: A Probabilistic Framework for Diffusion Synchronization’은 여러 디퓨전 생성 과정 사이에 상관관계를 도입해야 하는 지점을 확률론적으로 규명하고, 이미지·인간 움직임·3D 콘텐츠에 걸친 협업 생성을 하나의 체계로 설명했다. 이 연구는 개별 결과를 독립적으로 만드는 기존 방식에서 벗어나 서로 연관된 여러 콘텐츠를 일관되게 생성하기 위한 이론적 기반을 제시했다.

ECCV 2026에 채택된 ‘Accelerated Likelihood Maximization for Diffusion-based Versatile Content Generation’에서는 관측되지 않은 영역을 생성 과정에서 효율적으로 최적화해 하나의 방법으로 3D 모델 텍스처 생성과 인간 움직임 완성 등 서로 다른 문제를 처리할 수 있도록 했다. 이는 문제마다 별도의 모델을 새로 학습해야 했던 기존 접근의 부담을 줄이고, 생성 모델을 다양한 시각 콘텐츠 제작에 유연하게 활용할 수 있는 가능성을 보여준다.

생성 기술의 적용 범위는 현실 세계의 3D 구조로도 이어졌다. 이현수 학생이 공동 제1저자로 참여해 CVPR 2026에 발표한 ‘Image-Guided Geometric Stylization of 3D Meshes’는 스타일 이미지의 시각적 특징을 단순히 3D 물체 표면에 입히는 것을 넘어 물체의 기하학적 형태 자체를 스타일에 맞게 변형하는 기술을 제안했다. 또한 WACV 2026에 발표한 ‘Point2Pose: A Generative Framework for 3D Human Pose Estimation with Multi-View Point Cloud Dataset’에서는 포인트 클라우드로부터 사람의 3D 자세를 추정하는 문제를 조건부 생성 문제로 재구성하고, 생성 모델을 활용한 새로운 자세 추정 알고리즘을 제시했다.

이와 함께 이현수 학생은 생성 모델을 과학적 추론에 활용하기 위한 연구에도 참여했다. 이현수 학생이 저자로 참여한 ICML 2026 논문 ‘Calibrated Test-Time Guidance for Bayesian Inference’는 기존 기법들이 베이지안 사후분포를 정확하게 추정하지 못할 수 있다는 문제를 규명하고, 정확한 사후분포 표본을 생성하기 위한 추정 방법을 제안했다. 이를 통해 생성형 AI의 유도 기술을 콘텐츠 제작뿐 아니라 과학적·통계적 추론 문제로 확장했다.

이현수 학생은 서울대학교 전기정보공학부에서 수리과학부를 복수전공하고 있으며, 서울대학교 전기정보공학부 한보형 교수의 컴퓨터 비전 연구실과 김영민 교수의 3D 비전 연구실에서 연구를 수행했다. 또한 미국 UC Irvine에서 교환학생으로 수학하며 Stephan Mandt 교수와 연구를 수행하기도 했다. 현재는 서울대학교 기계 인지 및 추론 연구실에서 기억의 작동 원리에 착안한 표현 학습 연구를 진행하고 있다.

한보형 서울대 전기정보공학부 교수는 “생성형 모델의 성능을 활용하면서도 사용자의 의도와 원본 이미지의 구조를 함께 반영하는 일은 중요한 연구 과제”라며 “이현수 학생은 이미지 편집 문제를 중심으로 생성 결과를 정교하게 제어하는 방법을 꾸준히 탐구해 왔다”고 말했다.

김영민 서울대 전기정보공학부 교수는 “이미지에서 얻은 시각적 정보를 3D 구조의 변형과 인간 자세 추정으로 연결하는 연구는 생성형 AI의 적용 범위를 넓히는 시도”라며 “이현수 학생은 생성형 모델의 최신 경향과 수학적 모델에 대한 이해를 바탕으로 새로운 분야에 계속해서 도전하고 있다”고 밝혔다.

이현수 학생은 “지금까지의 연구는 생성 모델이 가진 지식을 바탕으로 사용자의 의도와 관측 정보에 부합하는 결과를 어떻게 안정적으로 만들어 낼 것인가라는 질문에서 출발했다”며 “앞으로는 생성형 모델링과 표현 학습을 연결해 다양한 환경에 적응하면서도 작동 원리를 설명할 수 있는 지능형 시스템을 개발하고 싶다”고 말했다.

이현수 학생의 연구는 향후 디지털 콘텐츠 제작, 3D 디자인, 가상현실, 인간 동작 분석뿐 아니라 과학 및 공학 설계와 같이 정교한 생성과 신뢰할 수 있는 추론이 필요한 분야에 활용될 것으로 기대된다.