SW융합대학 실감미디어공학과 Annual Research Review 성료

SW융합대학 실감미디어공학과 Annual Research Review 성료 SW융합대학 실감미디어공학과(학과장: 류은석 교수)는 지난 11월 27일(목) 오후 4시 30분, 인문사회과학캠퍼스 국제관 5층 Global R&E Lounge에서 2025 Annual Research Review 행사를 성공적으로 개최했다. 이번 행사에는 실감미디어공학과, 인공지능융합학과, 인터랙션사이언스학과, 인공지능융합전공 등 4개 학과가 공동 참여하여 XR/VR & Immersive Experiences, 3D Gaussian Splatting & Graphics Systems, Multimodal Understanding & Generation, Human-AI Interaction & Social Computing, AI for Emotion & Mental Health, Data-Driven Modeling & Recommendation의 총 6개 분야에서 41팀의 연구 발표가 진행되었으며, 실감미디어 연구의 현재와 미래를 조망하는 의미 있는 자리로 꾸려졌다. 발표는 포스터 전시 및 데모 시연 형식으로 진행되었고, 연구의 실질적 적용 가능성과 기술적 확장성에 대한 활발한 논의가 이어졌다. 행사에 앞서 개최된 Industrial Advisory Board(IAB, 기업자문위원) 사전 미팅에는 LG전자, 삼성전자, 상화, 올림플래닛, SOS Lab, ETRI(한국전자통신연구원), LG U+, LG 헬로비전, 정보통신기획평가원(IITP) 등 주요 ICT 및 콘텐츠 분야 기업과 연구기관 관계자들이 참석했다. 참석 전문가들은 XR 디바이스, 로봇 기반 비전 기술, LiDAR 센서 및 volumetric 영상 기술, AI 기반 실감미디어 서비스, 미래 네트워크 및 Web3 기술 등 산업이 요구하는 핵심 기술 동향과 산학연 협력 방향에 대해 심도 있는 의견을 나누며, 산학 공동 연구 생태계 구축의 중요성을 강조했다. 연구 성과 관람 및 전문가 평가 이후 진행된 ‘Outstanding Research Award’ 시상식에서는 학부와 대학원 부문으로 나누어 수상자가 선정되었다.학부 부문에서는 인공지능융합전공 강민구 학우가 최우수 연구상을 수상했으며, 김수현 학우와 오경준 학우가 우수 연구상을 받았다. 대학원 부문에서는 인공지능융합학과 이유빈 연구원이 최우수 연구상을 수상했다. 우수 연구상은 △실감미디어공학과 김종한 연구원 △메타바이오헬스학과 오민우 연구원과 인공지능융합학과 박민수 연구원(팀) △실감미디어공학과 주민준 연구원 △실감미디어공학과 정의준 연구원에게 돌아갔다. 이번 시상은 창의적인 연구 역량과 실질적인 기술 발전 가능성을 보여준 연구자들의 노력을 인정하는 자리였다. 더불어 본 행사에는 특별히 류덕희 총동창회 고문(경동제약 명예회장)이 참석하여, 미래 기술을 선도할 연구자로 성장하는 학생들에게 실질적인 조언과 진심 어린 격려의 메시지를 전했다. 현장의 학생들과 연구진은 산업 현장에서 요구되는 실천적 역량과 연구 태도에 대한 인사이트를 얻으며 소중한 시간을 가졌다. 행사를 기획한 실감미디어공학과 류은석 학과장은 “Annual Research Review는 연구자들이 서로의 성과를 공유하고 새로운 협력 기회를 발굴하는 중요한 자리이며, 앞으로도 실감미디어 분야를 선도하는 글로벌 연구 허브로 성장해 나가겠다”고 밝혔다. 실감미디어공학과는 과학기술정보통신부 가상융합대학원 사업의 지원을 기반으로 우수 대학원생 선발과 해외 파견 연구 프로그램을 운영하며, 영상처리, 그래픽스, 인공지능 분야 미래 인재 양성을 위한 연구 환경과 국제 협력 체계를 지속적으로 확장하고 있다. 이번 Annual Research Review는 학부와 대학원 연구자들의 성과 공유뿐만 아니라 산업계와의 협력을 강화하고 미래 성장 기반을 마련한 뜻깊은 행사로 마무리되었다.

AIM Lab(지도교수: 홍성은 교수) NeurIPS 2025 논문 2편 발표

인공지능 및 미디어 연구실(AI & Media, AIM LAB)의 논문 2편이 미국 San Diego에서 개최되는 AI 분야 세계 최고 권위의 학술대회인 NeurIPS (Conference on Neural Information Processing Systems) 2025에서 발표 예정입니다. 논문1. Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment (Youjia Zhang, 김영은, 최영근, 김홍엽, Huiling Liu, 홍성은) 본 논문은 이미지 분류 모델이 배경·스타일·조명·노이즈 등 다양한 분포 변화 상황에서 성능이 떨어지는 문제를 해결하기 위해, 테스트 시점에서 모델을 빠르게 적응시키는 Test-Time Adaptation(TTA) 과제를 다룹니다. 기존 TTA는 반복 최적화나 backpropagation에 의존해 실시간 적용이 어려웠습니다. ADAPT는 이 문제를 해결하기 위해 가우시안 분포 정렬 기반의 완전 backprop-free 적응 방식을 제안하며, 효율성과 안정성을 동시에 확보했습니다. - Gaussian Distribution Modeling: 클래스별 특징 분포를 가우시안으로 단순·명확하게 모델링해, 반복 계산 없이 바로 적응할 수 있도록 합니다. - Lightweight Regularization with CLIP Priors: 신뢰도 높은 특징을 축적하는 knowledge bank와 CLIP 기반 priors를 활용해, 예측의 일관성과 안정성을 유지합니다. ADAPT는 단순하고 가벼운 구조를 기반으로 backpropagation 없이도 강력한 TTA 적응 성능을 보여주며, 다양한 분포 변화 환경에서 기존 최신 기법들을 능가하는 성능을 입증했습니다. 논문2. PRIMT: Preference-based Reinforcement Learning with Multimodal Feedback and Trajectory Synthesis from Foundation Models 본 논문은 로봇의 움직임·조작·보행 등 다양한 행동 궤적을 비교해 어떤 궤적이 더 선호되는지 학습하는 PbRL(Preference-based Reinforcement Learning) 문제를 다룹니다. 기존 방식들은 단일 모달리티에 의존해 선호 판단이 불안정하거나, 초기 학습 단계에서 쿼리가 모호해지는 문제가 있었습니다. PRIMT는 이러한 한계를 극복하기 위한 새로운 프레임워크로, LLM과 VLM을 결합한 멀티모달 선호 융합과 궤적 생성(foresight/hindsight) 방식을 통해 더 정확하고 안정적인 선호 학습을 가능하게 합니다. - Hierarchical Multimodal Preference Fusion: LLM과 VLM이 제공하는 상보적 정보를 결합해, 로봇 행동의 선호를 더 정확하고 안정적으로 판단합니다. - Bidirectional Trajectory Synthesis: LLM이 다양한 초기 궤적을 생성해 학습 초반의 모호한 비교 문제를 줄이고, 반사실(counterfactual) 궤적을 만들어 보상 신호가 어떤 행동에 의해 결정되는지 명확히 드러냅니다. PRIMT는 기존 PbRL의 약점을 보완하면서, 조건 충실도와 행동 자연스러움 모두를 개선하는 결과를 보여주었고 다양한 로봇 조작 및 이동 과제에서 성능 향상을 입증했습니다.

실감미디어공학과, 독일 Fraunhofer HHI연구소와 MOU 체결

SW융합대학 실감미디어공학과, 독일 Fraunhofer HHI연구소와 MOU 체결 - 글로벌 실감미디어 및 인공지능 연구 협력 본격화 ▲ (왼쪽)류은석 실감미디어공학과 학과장, (오른쪽)Dr.-Ing. Cornelius Hellge(Fraunhofer HHI) SW융합대학 실감미디어공학과(Department of Immersive Media Engineering)는 그간 연구협력을 해오던 독일 최고의 연구소 중 하나인 프라운호퍼 HHI (Fraunhofer Heinrich-Hertz-Institut (Fraunhofer HHI))의 Multimedia Communications Group과 상호 교류와 협력을 강화하기 위한 학술교류협약(MOU)을체결하였다. 멀티미디어커뮤니케이션그룹이 속한 프라운호퍼연구소는 독일 전역에 75개의 연구소와 3만 명의 연구원, 연간 약 5조 원의 예산을 사용하는 독일 응용과학기술분야의 최고연구소 중 하나이다. 이번 협약은 2025년 10월 독일 베를린에서 양 기관 미팅을 통해 구체적으로 논의되었고, 이후 우리 대학 실감미디어공학과 류은석 학과장과 프라운호퍼 HHI의 Cornelius Hellge 그룹장(Head of Multimedia Communications Group)이 대표로 서명했다. ▲ 협약서 사진 이번 협약에 따라 양 기관은 교수진, 연구원, 대학원생 교류, 국제 공동연구 프로젝트 수행, 정기적인 연구 교류, 워크숍및 세미나 공동 개최, 그리고 실감미디어 및 인공지능 융합기술분야의 글로벌 표준화 협력 등을 추진하게 된다. 류은석 학과장은“Fraunhofer HHI는 글로벌 영상 처리 및 전송 기술의 표준을 주도하는 기관으로, 이번 협약은 우리 학과가 세계 수준의 연구 역량을 강화하고 학생들에게 국제 연구 경험을 제공할 수 있는 기반이 될 것”이라고밝혔다. 이번 협약은 실감미디어공학과가 추진 중인 글로벌 연구 네트워크 확장 전략의 일환으로, 향후 AI 기반 미디어기술, 3D 영상처리, 볼류메트릭비디오, XR 시스템 등 다양한 분야에서 실질적인 연구 협력과 학생 중심의 국제 교류 프로그램이 활성화될 전망이다.

DXLab (박은일 교수 연구실), AAAI 2026 1편, WACV 2026 1편 게재 승인

DXLab (지도교수: 박은일, https://dsl.skku.edu)의 논문이 인공지능 분야 우수학회인 AAAI 2026에 1편, WACV 2026에 1편 게재 승인(Accept)되었습니다. 해당 논문은 26년 1월(싱가포르)와 3월(애리조나)에서 발표될 예정입니다. 1) (AAAI 2026) “MASP: Multi-Aspect Guided Emotion Reasoning with Soft Prompt Tuning in Vision-Language Models” 논문은 이상은 졸업생(인공지능융합학과, 現 ETRI 연구원), 이유빈 박사과정생(인공지능융합학과)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 기존 Vision-Language Model (VLM) 기반 감정 인식이 이미지의 단일 표현이나 제한된 단서에 의존해 세밀한 감정 판단에 어려움을 겪는 문제를 해결하기 위해, 인간의 감정 판단 과정에서 활용되는 여러 시각 단서를 구조적으로 통합하는 MASP를 제안합니다. MASP는 얼굴 표정, 장면, 객체, 색채, 밝기, 행동의 여섯 가지 감정 단서를 독립적으로 인코딩하는 Multi-Aspect Module을 학습하고, 이를 전체 이미지 특징과 결합하여 보다 풍부한 시각 표현을 구성합니다. 기존 연구가 제한된 관점만 활용한 것과 달리, MASP는 여섯 가지 단서를 모두 분리×통합해 더 정교한 감정 해석을 지원합니다. 이후 Soft Prompt Tuning을 통해 언어 모델에 감정 인식에 특화된 추론 구조를 유도함으로써, 기존 대비 높은 정확도와 안정적인 성능을 달성합니다. Soft Prompt는 프롬프트 표현 변화에 대한 강건성을 높여 실제 환경에서도 안정적인 추론을 가능하게 합니다. MASP는 유사 감정 구분이나 소수 클래스 분류와 같은 까다로운 상황에서도 강인한 성능을 보이며, 멀티모달 감정 이해가 필요한 인간-에이전트 상호작용 등 실제 응용 분야에서 높은 활용 가능성을 보여줍니다. 2) (WACV 2026) “Alignment and Distillation: A Robust Framework for Multimodal Domain Generalizable Human Action Recognition” 논문은 지현빈 석사과정생(실감미디어공학과), 이주엽 박사과정생(인공지능융합학과)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 기존 Human Action Recognition(HAR) 모델이 단일 모달리티나 정적인 융합 방식에 머물러 실제 환경의 도메인 변화에 취약하다는 문제를 해결하기 위해, 멀티모달 단서를 시간적으로 정렬 및 통합하는 Multimodal Alignment and Distillation for Domain Generalization(MAD-DG) 프레임워크를 제안합니다. 이를 위해 MAD-DG는 두 가지 핵심 요소를 중심으로 보다 안정적인 행동 표현을 학습합니다. 먼저, Segment-Label Aligned Contrastive Learning(SLA-CL)은 RGB, Optical Flow, Audio 간의 비동기적 기록 문제를 Temporal Binding Window 기반으로 보정해 모달리티 간 의미적 대응을 정밀하게 맞춥니다. 이를 통해 센서 지연이나 녹화 불일치로 발생하는 잡음을 줄이고 행동의 핵심 패턴을 강조합니다. 이어서 Online Self-Distillation Temporal Module(OSDTM)은 행동이 시간적으로 여러 단계로 전개된다는 점에 착안해 다양한 길이의 segment tuple을 구성하고, soft attention으로 중요한 조합을 선택합니다. Teacher–student 방식의 self-distillation을 통해 도메인 변화에도 흔들리지 않는 시간적 표현을 형성합니다. MAD-DG는 이러한 모달리티 정렬과 다중 스케일 temporal reasoning을 결합해, 기존 모델이 어려워하던 멀티소스 도메인 일반화나 콘텍스트 제거 환경(Mimetics)에서도 높은 성능을 달성합니다. 특히 Optical Flow 정보를 적극적으로 활용해 실제 행동 중심의 표현을 구성하며, 복잡한 행동 이해나 인간–에이전트 협력 시스템 등 다양한 실사용 환경에서 높은 활용 가능성을 보여줍니다.